监督微调对置信度分数校准的影响

SFT后置信度分数校准变化方向难以预判，现有指标不能直接部署。

资讯摘要

论文考察自然语言生成任务中基于概率与自洽性的不确定性量化指标在监督微调（SFT）后的校准变化，覆盖翻译、问答和数学推理。作者报告在216种配置中，112种校准退化、104种改善，且方向无法由微调前模型预判；置信度分数还受接近训练分布等因素影响。下游评估显示这种失校准会明显削弱置信度分数识别正确答案的实用性。

要点速读

1. 论文在翻译、问答、数学推理等NLG任务上研究SFT对置信度指标校准的影响。
2. 216种配置中112种校准退化、104种改善，退化方向无法从SFT前模型预判。
3. 下游任务评估显示失校准会降低置信度分数识别正确答案的实用性。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。