评分规则本身可使多模态基准准确率相差最多22个百分点。
资讯摘要
论文指出，多模态LLM多选题基准的评分规则通常藏在代码中，未经论证与检验，却直接决定公布成绩。作者在五个可单卡16GB GPU运行的开放视觉语言模型上复现八个同行评审基准的官方评分器，并引入盲审的人加LLM评判裁决（Cohen's kappa=0.956）还原模型实际答案。结果显示，同一输出仅因评分规则不同，准确率最多相差22个百分点；当模型输出规范选项字母时差异为零，因此该问题在强模型榜单上被掩盖。
要点速读
- 同一批输出下，仅更换评分规则可使准确率变动最多22个百分点；模型输出规范选项字母时差异为零。
- 损害来自回退处理而非冗长输出：非合规率最高的基准因评分器选择弃权，偏差恰为零；某推理模型非合规率为0.000，仍因解析器保留其推理轨迹中哪一处正则匹配而波动9.5个百分点。
- 作者认为贴近最近选项、弃权、似然打分等标准规则均不可靠，单一评分混淆能力与运气，并发布代码、标注与协议，主张基准应报告非合规率并至少采用两种规则。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。