多语言P(True)自评中问题、回答与验证器语言的解耦

多语言置信度评估需同时报告问题、回答与验证器三种语言。

资讯摘要

论文研究多语言模型自评置信度时涉及的三种语言：问题语言、要求回答的语言和验证器指令语言，并在六语言因子设计下用十个开放权重模型（3B–14B）在LSQA、MMLU、TriviaQA上独立变化三者，以首token的P(True)探针测量置信度。作者报告：哪种语言主导准确率取决于基准；回答语言与问题或验证器语言一致可提升区分度但不改善校准；仅验证器语言就能使校准误差变化最多0.04而不改变准确率；未经验证的评判器会把MMLU英印准确率差距从0.198缩小到0.038。

要点速读

1. 论文在六语言因子设计下用十个3B–14B开放权重模型，在LSQA、MMLU、TriviaQA上独立变化问题、回答与验证器三种语言，并用首token P(True)探针测置信度。
2. 作者报告：回答语言与问题或验证器语言一致可提升区分度但不改善校准；仅验证器语言可使校准误差变化最多0.04，准确率不变。
3. 作者指出未经验证的评判器会把MMLU英印准确率差距从0.198缩小到0.038，认为多语言置信度结果需同时报告三种语言并验证评判器。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。