论文发现窗口最低置信度评分主要反映推理链长度。
资讯摘要
论文将推理模型逐 token 置信度视为信号,用频谱分析和突变检测审计滑动窗口最低均值评分法。作者在两项数学基准的 500 道题上各采样 16 条链,发现该评分主要反映链长:仅按长度排序效果相当或更好,控制长度后评分不含正确性信息。频谱中错误链的 token 间波动更快,但信号太弱,无法改善投票;提前停止链时,滑动平均与经典变化检测均不如直接少采样。
要点速读
- 论文用信号处理工具分析逐 token 置信度,检验滑动窗口最低均值评分法。
- 实验为两项数学基准各 500 题、每题 16 条链,使用小型开源推理模型。
- 作者报告该评分主要度量链长,控制长度后对正确性无信息;频谱信号太弱,无法提升投票。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。