总分稳定不代表单个评审判定可重复。
资讯摘要
论文以 500 条 Arena-Hard v2.0 提示、固定两模型答案为条件，用 GPT-4.1 作评审，在标准、输出格式与任务框架的八种组合下测试，并在温度零下重复同一设置。作者报告：默认设置重跑时总分仅变动约 1 分，但 21.2% 提示的胜/平/负结果改变；部分指令改动使结果变化比例更高、总分下降 4.09 分，另一设置下总分几乎不变而个体判定仍明显变化。
要点速读
- 默认设置重复运行时总分约变 1 分，但 21.2% 提示的胜/平/负判定发生变化。
- 某设置要求不给推理直接给结论并删去多项指令，结果变化比重复运行平均多 28.2 个百分点，总分下降 4.09 分。
- 以准确性为优先标准的设置中，结果变化多 6.7 个百分点，而总分几乎不动。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。