论文称循环模型深度复用取决于训练与推理循环的一致性。
资讯摘要
论文研究循环语言模型在推理时超出训练循环步数仍可用的原因。作者在已发布权重上移除循环边界归一化，Ouro-1.4B 与 Ouro-2.6B 在平衡二分类任务上于训练预算内准确率降至零；但状态范数增长并非原因。在 19M 参数模型上从头训练，去掉归一化不差于保留且外推更好，作者据此认为关键在于训练与推理循环的一致性。
要点速读
- 移除循环边界归一化后，Ouro-1.4B 和 Ouro-2.6B 在平衡二分类任务上于训练预算内准确率归零（随机水平 0.500），状态范数始终在 2.021 倍以内。
- 19M 参数模型在两个合成任务、每种配置 16 个种子上从头训练，无归一化训练不差于有归一化，且外推更好，超出预算时 Cliff's delta 最高 0.867。
- 作者报告损伤位于读出层与块最后一层：冻结修改后的循环重拟合头部可恢复约三分之一准确率并趋于平台，连同最后一层块重拟合可全部恢复。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。