UpLoop：不增加预训练算力训练循环Transformer

UpLoop 在不增加预训练算力下训练循环 Transformer 并提升下游表现。

资讯摘要

论文提出 UpLoop，一种通过 upcycling 训练循环 Transformer 的预训练方案：先训练浅层 Transformer，再复制已学层逐步加深，并把早期节省的算力用于后期共享中间块的重复执行。作者称其最终参数量、训练 token 总数和训练 FLOPs 与标准稠密基线完全一致。在 1.3B 参数规模下，22 个下游任务平均分从 22.99 提升到 27.52，监督微调后数学推理也有增益。

要点速读

1. UpLoop 先用浅层 Transformer，再复制已学层逐步增加深度。
2. 早期节省的算力被用于后期重复执行共享中间块。
3. 作者报告 1.3B 参数下 22 个下游任务平均分由 22.99 升至 27.52，且监督微调后数学推理同样受益。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。