学习型检查表可降低同行评审的抽签误差。
资讯摘要
论文针对同行评审中的“评审抽签误差”，即少数评审只覆盖论文部分问题，提出从历史评审语料中学习批评检查表来减少该误差。方法生成表示原子评审主张空间粗化的检查表树，并选出评审者间相关一致性最高的粗化版本，用 LLM 辅助流程在 NeurIPS 2021 与 ICLR 2022 数据上测试。作者报告：LLM 模拟评审中，三人委员会 MSE 在 NeurIPS 降 58%、ICLR 降 21%；20 人人类研究中，NeurIPS 检查表将论文排序 MSE 从 0.48 降至 0.22。
要点速读
- 论文提出从历史评审语料学习批评检查表，以降低评审抽签误差。
- 方法构建检查表树并选择评审者相关一致性最高的粗化版本，由 LLM 辅助流程实现。
- 作者报告在 NeurIPS 2021 与 ICLR 2022 数据上，模拟评审与 20 人人类研究均降低了误差。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。