更换LLM评审会改变系统排名，跨厂商复现并非可靠检验。
资讯摘要
论文提出一项预注册研究，用来自三家厂商的五个评审模型，对4000场带有人类投票的Chatbot Arena对战（九个系统、33个系统对）在两种回答顺序下重新评判。结果显示，评审结论与人类投票的一致性偏低（Cohen's kappa中位数0.22），系统排名也无法在更换评审后保持稳定（与人类排名的Kendall's tau为0.17至0.89，中位数0.67），因此“排名稳定”的预注册假设未获支持。
要点速读
- 五个评审模型来自三家厂商，重判4000场Chatbot Arena对战，覆盖九个系统、33个系统对，并测试两种回答顺序。
- 与人类投票的判定级一致性偏低，Cohen's kappa中位数为0.22；与人类排名的Kendall's tau为0.17至0.89，中位数0.67。
- 由两家不同厂商的低成本评审复现的结论比单一评审更常与人类结论一致（精确率+0.10），但增益主要来自过滤掉一个对齐较差的评审；涉及该评审的复现仅对35%的比较给出结论。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。