循环设计需匹配算力约束与推理场景。
资讯摘要
论文研究密集解码器Transformer的循环复用：全模型循环在固定参数预算下质量最好，循环中间层在训练算力受限时回报更高；循环收益会饱和、反转或不稳定。作者加入小型循环专属低秩适配器提升质量，并改进Parallel Loop Transformer的跨token隐藏状态传递与归一化，以缓解解码减速并恢复性能。
要点速读
- 实验覆盖最多1B参数、155B token、1.07×10²¹ FLOPs和32次循环。
- 全Transformer循环在固定参数预算下质量最强，循环中间层在训练FLOPs受限时回报更好。
- 加入循环专属低秩适配器可提升质量；改进后的并行循环设计在多种规模下恢复性能。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。