价值型RL训练的评论家可零成本复用为LLM置信度估计器
资讯摘要
论文探讨置信度训练实际解决何种预测问题，比较同等容量的自估与外估模型，发现仅基于策略行为轨迹训练的外部模型也能准确估计置信度。作者证明在基于正确性的结果下，置信度估计与强化学习中的评论家训练等价，因此经价值型RL训练的LLM可直接复用现有评论家作为置信度估计器，无需额外训练或数据，且不改变策略、保持任务性能。
要点速读
- 论文比较自估与外估置信度模型，发现仅用策略行为轨迹训练的外部模型可达到与策略自身相当的估计精度，无需访问内部表示。
- 作者证明在基于正确性的结果下，置信度估计与RL评论家训练等价，均预测策略回复正确的可能性。
- 在数学、代码、工具调用和通用推理等十余个领域的测试中，复用评论家在全部分布内划分上为最佳置信度估计器，16个中有14个校准最佳，且不影响任务性能。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。