论文发现halting head报告的算力节省可能被平均迭代数高估。
资讯摘要
论文从零预训练最多1.3B参数的循环语言模型，检验halting head能否让简单token提前停止以节省算力。作者发现两个问题：用全部迭代混合训练的头预测token所需迭代不到一半，但按标准停止规则几乎每个token仍跑满全部迭代，因为训练从未对token真正停止的那一次迭代打分；改为对每次迭代打分可修复，但需较强早停惩罚才有效。此外，批量生成时序列要等到最慢token停止，无停止头的模型在该成本下表现接近，按平均迭代数报告的节省可能被高估。
要点速读
- 作者从零预训练最多1.3B参数的循环语言模型，发现混合迭代训练的halting head预测token所需迭代不到一半，但标准停止规则下几乎每个token仍跑满全部迭代。
- 改为对每次迭代打分可修复该问题，但在作者实验中只有配合较强的早停惩罚才有效。
- 批量生成以最慢token为准，无停止头的模型在该成本下表现接近，按平均迭代数报告的节省可能被高估；作者建议报告实际迭代数、停止阈值与批量大小，并给出训练停止头前可界定其收益的测试。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。