论文发布 10 万余条评审的新颖性数据集与审稿人对齐评估模型。
资讯摘要
论文提出 Novelty Reviewer 数据集与框架，用于评估 AI 论文的新颖性。数据集基于 2022–2025 年 ICLR 与 NeurIPS 的 37,899 篇投稿、102,021 条官方评审，包含审稿人新颖性表述、论文级评估及四点量表评分。框架先抽取论文观点、方法与主张的结构化表示，检索语义相关论文并构建知识图谱做概念级比较，再微调大模型输出校准后的新颖性评分与解释性评估。作者报告其可降低高估并提升一致性，并公开数据集、模型与代码。
要点速读
- 数据集覆盖 2022–2025 年 ICLR 与 NeurIPS 的 37,899 篇投稿、102,021 条官方评审，含审稿人新颖性表述与四点量表评分。
- 框架抽取论文观点、方法与主张的结构化表示，检索相关论文并构建知识图谱进行概念级比较。
- 作者报告该模型输出校准的新颖性评分与解释性评估，降低高估并提升一致性，同时公开数据集、模型与代码。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。