探针轨迹揭示推理模型思维动态

探针轨迹可在静态探针失效处提升行为预测。

资讯摘要

论文研究大型推理模型隐藏表示能否从提示与思维链预测未来行为。作者在每个生成token上评估探针，构建探针轨迹，并提取波动性、趋势与稳态等信号处理特征。结果显示轨迹特征在静态探针最弱处平均提升21.7 AUROC，静态探针低于70的案例全部改善。论文还报告模板训练数据与动态生成响应接近持平，且平均/最大池化优于末token方法。

要点速读

1. 论文提出在每个生成token上评估探针，构建反映概念概率演变的探针轨迹，并提取波动性、趋势、稳态特征。
2. 轨迹特征在静态探针最弱处平均提升21.7 AUROC，静态探针低于70的案例均获改善。
3. 模板训练数据与动态生成模型响应接近持平；平均与最大池化达78.5%至97.4% AUROC，末token方法表现差。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。