LLM新颖性评审对提示设计高度敏感，准确率可跌至随机以下。
资讯摘要
论文对基于大语言模型的新颖性评审做受控研究：从OpenReview挖掘评审者明确肯定或质疑原创性的段落，仅保留研究领域内极端一致同意的投稿，并与普通LLM生成的想法配对。作者报告，六个评审模型中看似微小的提示设计差异会大幅改变判定，例如告知评审者“审稿人认为其中一个想法新颖”可使过半相同想法对的结论翻转，成对准确率变动超50个百分点，个别情况低于随机水平；检索与更大推理预算帮助有限，两个专用新颖性评估器不如最便宜的提示基线。
要点速读
- 研究构建自动评估集：挖掘OpenReview中评审者明确肯定或质疑原创性的段落，仅保留极端一致同意的投稿，并与普通LLM生成想法配对。
- 六个评审模型中，提示设计的小改动可使过半相同想法对的判定翻转，成对准确率变动超50个百分点，偶尔低于随机。
- 检索与更大推理预算帮助有限；两个专用新颖性评估器被最便宜的提示基线超越。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。