ARLoop：基于注意力残差的完全开源循环Transformer

ARLoop以注意力残差改进循环Transformer，并开源1.2B预训练模型。

资讯摘要

论文提出ARLoop，一种基于注意力残差的循环Transformer架构，每层输入通过沿模型深度做注意力选择性聚合。作者在140M和370M参数、循环深度R=1至5的受控实验中发现，循环Transformer无需访问完整残差历史，滑动窗口深度注意力在较大循环深度下即可匹配或超过全历史注意力。作者进一步按真实LLM预训练方案扩展到0.6B和1.2B参数，报告数学与编程任务提升明显；1.2B模型仅用0.5T token、三次循环预训练，在所有评测任务上超过Huginn-3.5B，并与Qwen3.5-2B等同等规模非循环模型相当。

要点速读

1. ARLoop用注意力沿模型深度选择性聚合各层输入，替代标准残差连接。
2. 受控实验覆盖140M、370M参数与R=1至5循环深度，滑动窗口深度注意力匹配或优于全历史注意力。
3. 1.2B模型以0.5T token、三次循环预训练，作者报告其超过Huginn-3.5B并在评测任务上与Qwen3.5-2B相当。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。