新基准 FLAWS 测试 LLM 定位论文错误，GPT 5 准确率 39.1% 最高。
资讯摘要
论文提出 FLAWS 基准，包含 713 个论文-错误对，用于评估大模型能否识别并定位论文中会动摇核心结论的错误。作者用 LLM 向已同行评审论文中系统插入错误，并配套自动化评估指标。在五个前沿模型上测试，GPT 5 表现最佳，k=10 时识别准确率为 39.1%。
要点速读
- FLAWS 由 713 个论文-错误对构成，错误由 LLM 插入已评审论文，且会削弱论文关键结论。
- 作者设计了自动化指标，衡量模型能否识别并定位插入的错误。
- 测试 Claude Sonnet 4.5、DeepSeek Reasoner v3.1、Gemini 2.5 Pro、GPT 5、Grok 4，GPT 5 在 k=10 时识别准确率 39.1% 居首。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。