论文审计早停方法,发现较晚退出正确率下降且可靠性存疑。
资讯摘要
论文对大型推理模型的早停方法进行综述与实证审计,指出模型生成更长推理链可提升准确率,但部分计算可能不必要。作者在五个推理模型上,用共享 rollout 重放协议评估数学与科学推理、代码生成及事实性任务,并提出 Target-Integrated Token Efficiency(TITE)衡量相对 oracle 的效率。实验发现,较晚退出位置的正确率下降幅度超出拟合的解码噪声模型预测;可靠性检查还发现强制终止后推理仍在继续,以及部分早停正确输出中的支撑推理较弱。
要点速读
- 论文提出 TITE 指标,用于在准确率目标下衡量相对 oracle 的早停效率。
- 在五个推理模型、多类任务上采用共享 rollout 重放协议进行统一评估。
- 作者报告较晚退出位置正确率下降超出解码噪声模型预测,并观察到强制终止后推理继续、部分早停正确输出支撑推理较弱。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。