LLM评审排序质量不等于评审质量，校准与阈值同样关键。
资讯摘要
论文在232篇ICLR 2025分层投稿上比较五种LLM评审范式、三种输入表示和三个模型。作者报告：直接绝对评分与比较排序在和人工评分的秩相关上相当，但预测多集中在接收阈值以上，几乎不标记人工评分低于阈值的论文；经基率匹配重校准后，直接评分与人工一致性高于Elo，且API调用量仅为24%。仅摘要输入优于全文摘要，模型选择与范式选择同等重要。
要点速读
- 研究在232篇ICLR 2025分层投稿上评估五种LLM评审范式、三种输入表示和三个模型。
- 直接绝对评分与比较排序的秩相关相当，但预测压缩在接收阈值以上，几乎不标记人工低分论文。
- 基率匹配重校准后直接评分一致性高于Elo且API调用为24%；仅摘要输入优于全文摘要，模型选择与范式同等重要。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。