研究：LLM审稿对顶刊已发表论文过于严苛且不一致

LLM审稿对已发表顶刊论文过严且模型间差异极大

资讯摘要

一篇论文构建了200篇2026年发表于Nature、Science、Cell等20种期刊的CC BY 4.0文章语料，让四种LLM（两种专有、两种开放权重）在盲审协议下独立生成同行评审报告。作者报告：800份评审中605份（75.6%）建议大修或拒稿，但单模型比例从17.5%到100%不等（p<0.001）；植入一处领域相关方法或统计缺陷后，检出率为17.0%至60.5%（p<0.001）。论文认为这类输出特异性与敏感性均不足，只能作为依赖框架和模型的信号来解读。

要点速读

1. 语料为200篇2026年发表、CC BY 4.0授权的文章，来自Nature、Science、Cell等20种综合、生命科学与临床医学期刊
2. 四种LLM共生成800份评审，75.6%建议大修或拒稿，单模型比例17.5%–100%（p<0.001）
3. 植入单一方法或统计缺陷后，各模型检出率17.0%–60.5%（p<0.001）

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。