BELT 用可复用信念探针实现推理早停，减少生成 token 且不降准确率。
资讯摘要
论文提出 BELT（BELief-based Termination），将结果预测与停止控制分离：从冻结 LLM 的隐藏状态学习对当前与未来答案的信念，再在冻结特征上拟合线性停止策略。由于预测目标与 token 价格无关，同一探针可通过 CPU 重拟合策略或调整阈值支持不同精度—成本权衡。作者报告在五个 OOD 数学基准上，Qwen3-1.7B 生成 token 减少 41%、OLMo-3-7B-Think 减少 51% 且不损失准确率，并可迁移到代码与智能体任务。
要点速读
- BELT 从冻结 LLM 隐藏状态学习答案信念，再拟合线性停止策略，将结果预测与停止控制解耦。
- 作者报告五个 OOD 数学基准平均：Qwen3-1.7B 生成 token 减少 41%，OLMo-3-7B-Think 减少 51%，准确率不降。
- 数学训练的 BELT 未经代码或智能体数据训练即可迁移，探针参数比 OS-Pruner 单检查点少 21.2 倍，训练 GPU 时少 55 倍。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。