研究：LLM 判断研究想法新颖性并不可靠

LLM 新颖性评审对评估设置高度敏感，结果不稳定。

资讯摘要

Ai2 发布论文《Old Ideas, Novel Problems》，并公开基准、数据与代码，考察大语言模型作为“新颖性评审”的可靠性。作者用 ICLR 2026 同行评审构建高/低新颖性人类想法池，并加入 LLM 生成想法。测试 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Opus 4.5、Opus 4.6 六款模型后发现，仅改动提示词中几个词，模型判断两个想法哪个更新颖的准确率可变化超过 50 个百分点；检索与额外推理未稳定提升判断，两个专门构建的新颖性评估系统表现不如简单提示的 Claude Opus 4.6 基线。

要点速读

1. 作者基于 ICLR 2026 评审意见构建 154 个高新颖性与 145 个低新颖性人类想法池，另配 154 个 LLM 生成想法。
2. 六款模型在逐点评分与两两比较中，提示词、推理预算、检索等设置的小改动会显著改变判断结果。
3. 检索和额外推理未持续改善判断，两个专用新颖性评估系统不及简单提示的 Claude Opus 4.6 基线。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:15（北京时间）。