回到最新动态
论文更新 / THE SIGNAL

无需学习弃答的可控LLM弃答方法

Strong yet Controllable LLM Abstention without Learning to Abstain

重要性 5.5 AI 辅助整理

TAPS用后训练加事后选择实现可控弃答,风险低于弃答训练。

资讯摘要

论文比较了模型外选择性回答与模型内弃答训练两种弃答方式,将风险分解为回答能力与区分能力。作者提出TAPS:先做标准后训练提升准确率,再用现成置信度估计器做事后选择,从而保持覆盖率可控。在三个LLM和三个事实问答基准上,采用基于探针的置信度估计器时,TAPS在匹配覆盖率下平均风险比三种代表性弃答训练方法低1.5至9.4个百分点。

要点速读

  1. 论文将弃答风险分解为回答能力与区分能力,发现弃答训练的优势主要来自回答更好,强置信度估计器下两者区分能力接近。
  2. TAPS只需标准后训练和现成置信度估计器,覆盖率保持可控,并可受益于任一组件进步。
  3. 在三个LLM和三个事实问答基准上,TAPS平均风险比三种弃答训练方法低1.5至9.4个百分点;准确率训练常削弱模型自身置信信号,但重新拟合估计器可基本保留区分能力。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开