NovGauge：细粒度诊断大模型论文新颖性评估能力的基准

新基准显示大模型论文新颖性判断常缺乏证据支撑

资讯摘要

论文提出 NovGauge，一个面向大模型论文新颖性评估的细粒度诊断基准，包含 619 组论文对和 50 个多论文集合，数据来自 ICLR 审稿人重叠判断与综述共引，并按任务、问题、方法三个维度独立标注。作者设计级联诊断流程，分别核查各维度正确性、证据依据与逻辑支撑。对 18 个大模型的评测显示，各维度幻觉率为 0%–39%，在非幻觉的正确正例判断中超过 70% 的引用证据无法逻辑支撑所述理由；表现最好的 GPT-5.5 各维度 Verified F1 为 43%–72%，多数模型经忠实性验证后保留不足原始 F1 的一半。

要点速读

1. NovGauge 含 619 组论文对与 50 个多论文集合，按任务、问题、方法三维度标注。
2. 作者提出级联诊断流程，核查维度正确性、证据依据与逻辑支撑。
3. 18 个大模型评测中幻觉率 0%–39%，GPT-5.5 的 Verified F1 为 43%–72%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。