CalibraRL：用置信度校准强化学习减少RAG幻觉

CalibraRL将置信度校准纳入强化学习奖励以减少RAG幻觉

资讯摘要

论文提出CalibraRL强化学习框架，将回答置信度与查询级作答证据纳入奖励设计：对非弃答回答，结合正确性效用与基于Brier的惩罚，促使置信度与正确性一致；对弃答，用Beta后验估计组内非弃答回答的条件可靠性，后验概率越高弃答奖励越大。该方法复用训练rollout，无需额外标注模型是否知道答案。作者报告在三个QA数据集上相比强基线提升答案精度、减少幻觉，并在两个骨干模型和三个数据集上使平均ECE降低30.8%。

要点速读

1. 奖励设计同时考虑回答置信度与查询级作答证据，对过度自信错误施加更明确惩罚
2. 弃答奖励基于Beta后验估计的条件作答可靠性，无需额外标注
3. 作者报告三个QA数据集上答案精度提升、幻觉减少，平均ECE降低30.8%

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。