论文比较激活预言机置信度估计，候选打分与采样一致性最有效。
资讯摘要
论文比较了五种估计激活预言机置信度的方法，覆盖 Qwen 和 Gemma 两个模型家族、8B 至 27B 参数的四个预言机，在秘密词任务上每种方法/预言机组合测试 6000 个样本。作者报告：若审计者能预先列出候选答案，直接对候选打分准确率最高且区分正确与错误答案的置信度最好；若只能自由文本作答，二十次采样的答案一致性校准最佳，仅需五个标注秘密词调优；有校准集时，重缩放答案概率效果接近重采样但只需一次生成；让预言机自报置信度数字则无有效信号。
要点速读
- 论文在 Qwen 和 Gemma 的四个激活预言机（8B–27B）上比较五种置信度估计方法，每种组合测试 6000 个样本。
- 作者报告：可预先列出候选答案时，直接对候选打分在各预言机上准确率更高，且置信度更能区分正确与错误答案。
- 自由文本作答时，二十次采样答案的一致性校准最佳，仅需五个标注秘密词调优；让预言机自报置信度数字无有效信号。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。