新基准显示前沿模型判断研究方法缺陷仍不可靠。
资讯摘要
论文提出 Tampered ML 基准，包含 1,858 组条目对，每组由一篇已发表机器学习论文重构的实验提案与一个引入针对性方法缺陷的最小改动反事实版本组成，模型需在两种呈现顺序下判断哪个提案方法更严谨。分层抽样的人工验证估计 86% 条目有效（95% CI：81-91%）。作者报告前沿模型表现高于随机但远未可靠，Opus 5 准确率为 77.9%，且对呈现顺序高度敏感，倾向偏好看似更具体、透明或常规的有缺陷设计。
要点速读
- Tampered ML 含 1,858 组条目对，每组为论文重构提案与引入方法缺陷的最小改动版本。
- 人工验证估计 86% 条目有效（95% CI：81-91%）。
- 作者报告 Opus 5 准确率 77.9%，模型对呈现顺序敏感并偏好看似更具体、透明或常规的有缺陷设计。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。