回到最新动态
研究论文 / THE SIGNAL

论文质疑推理链置信度评分:或主要反映链长

Is Token Confidence Just Chain Length? A Signal-Processing Audit of Reasoning Traces

重要性 5.0 AI 辅助整理

论文发现窗口最低置信度评分主要反映推理链长度。

资讯摘要

论文将推理模型逐 token 置信度视为信号,用频谱分析和突变检测审计滑动窗口最低均值评分法。作者在两项数学基准的 500 道题上各采样 16 条链,发现该评分主要反映链长:仅按长度排序效果相当或更好,控制长度后评分不含正确性信息。频谱中错误链的 token 间波动更快,但信号太弱,无法改善投票;提前停止链时,滑动平均与经典变化检测均不如直接少采样。

要点速读

  1. 论文用信号处理工具分析逐 token 置信度,检验滑动窗口最低均值评分法。
  2. 实验为两项数学基准各 500 题、每题 16 条链,使用小型开源推理模型。
  3. 作者报告该评分主要度量链长,控制长度后对正确性无信息;频谱信号太弱,无法提升投票。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开