LSIRM揭示总分掩盖的题目答案类别偏好，可改变模型排名。
资讯摘要
论文提出用潜在空间题目反应模型（LSIRM）分析语言模型基准中总分掩盖的差异。作者在BBH的5761个题目上分析1348个模型，并对比BBH、GPQA、MMLU-Pro和MuSR的答案呈现与计分方式。结果显示，BBH中相邻题目常共享同一正确答案；按选项标签计分时该模式强于按选项文本计分。剔除答案类别贡献后，两个仅差14题正确的模型排名反向移动数百位。
要点速读
- 论文用LSIRM在BBH的5761个题目上分析1348个语言模型，并对比BBH、GPQA、MMLU-Pro和MuSR的答案呈现与计分方式。
- BBH中潜在空间图上相邻题目常共享同一正确答案，按选项标签计分时该模式强于按选项文本计分。
- 两个模型正确题数仅差14/5761，剔除估计的答案类别贡献后排名反向移动数百位。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。