STEP：用逐步概率评分估计预测正确性

STEP 用逐步软概率轨迹估计 LLM 预测正确性，无需标准答案。

资讯摘要

论文提出 STEP，一个无需训练的框架，用于在无标准答案时估计大语言模型预测的正确性。它通过轻量前向传播为每个推理步骤打分，得到候选答案的软概率分布 qi，并据此提取软轨迹特征，刻画逐步置信度及其向最终答案的演进。作者报告在多项基准上，AUROC 等指标较基于输出统计的基线和硬指标轨迹方法有稳定提升，其中对后段步骤加权的时间加权一致性贡献最大。

要点速读

1. STEP 为无需训练框架，通过轻量前向传播为每个推理步骤生成候选答案的软概率分布 qi。
2. 从软分布中提取软轨迹特征，用于刻画每步置信度及向最终答案的演进。
3. 作者报告在多项基准上 AUROC 等指标稳定优于输出统计基线和硬指标轨迹方法，时间加权一致性贡献最大。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。