同一答案不同置信度：LLM置信度校准中的协议敏感性

LLM置信度分数与比较结果会随测量协议改变。

资讯摘要

论文考察LLM置信度校准对测量协议的敏感性：在五个开源LLM和四个问答数据集上，固定答案、口头置信度与正确性标签，仅改变评分测量方式。作者报告，分数本身及两种置信度（口头置信度与token置信度）的比较结果都会随协议变化，改变读取token概率的上下文可使两者差距移动约等于差距本身的幅度，且多数偏移来自指令变化而非答案位置。

要点速读

1. 在五个开源LLM和四个问答数据集上，固定答案、口头置信度与正确性标签，仅改变评分测量协议。
2. 改变读取token概率的上下文后，两种置信度差距的移动幅度约等于差距本身（ECE 0.287 vs 0.304；AUROC 0.189 vs 0.145）。
3. 偏移的95%区间在20个设置中的19个（ECE）和17个（AUROC）排除零；每种指标下各有8个设置出现更优分数翻转，偏移也出现在最大72B参数的四个更大模型中。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。