论文发现验证推理轨迹的瓶颈在修复而非检测。
资讯摘要
论文探讨在无参考答案、无评判模型、不更新权重的情况下，单条推理轨迹能被验证到什么程度。作者在冻结的 LLaMA-2-7B-chat 上对 GSM8K 测试发现，自检 AUROC 仅 0.741，三分之二的错误轨迹未写出错误等式，而是正确执行了错误计划。作者提出将轨迹抽象为程序、扰动一个量再执行并重问模型，71.0% 的题目可构造有效扰动；支持性轨迹正确率 60.6%，基线为 31.6%，但该探针也否定了 45.5% 的正确轨迹。作者报告没有策略带来统计显著的准确率提升，并认为修复而非检测才是待解问题。
要点速读
- 自检轨迹的 AUROC 为 0.741，三分之二错误轨迹未含错误等式，而是正确执行了错误计划。
- 候选派生变形探针在 1319 道题中 937 道（71.0%）可构造有效扰动；847 道可解析首条轨迹中，支持性轨迹正确率 60.6%，基线 31.6%，但探针也否定了 45.5% 的正确轨迹。
- 作者报告没有测试策略带来统计显著的准确率提升，并给出重试条件：检测精度需超过 D/(R+D)。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。