常用 LLM 评审代理指标与排序准确率仅弱相关，应按排名差距分层评估。
资讯摘要
论文指出，位置偏差、传递性和成对一致性等常用代理指标受 Bradley–Terry 几何支配，主要由排名差距小的配对决定，而这些配对本身易不一致且对整体排序准确率影响小；真正决定排序准确率的差距大的配对却几乎不影响这些指标。作者在受控模拟和两个人工标注语料上验证，代理指标与对金标准的排序准确率仅弱相关，其预测成分集中于大差距区间，建议改用按排名差距分层的指标并对照人类排序评估。
要点速读
- 论文认为，位置偏差、传递性、成对一致性等代理指标主要由排名差距小的配对主导，而这些配对的不一致对整体排序准确率影响有限。
- 在受控模拟和两个人工标注语料上，代理指标与对金标准的排序准确率仅弱相关，预测成分集中于大差距配对。
- 作者建议按排名差距分层评估 LLM 评审，并尽量对照人类排序；代码已公开。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。