AI研究智能体论文的数值错误多源于错配而非造假。
资讯摘要
论文重新分析了某AI研究智能体公开基准的全部540条判定，并人工标注18份提交中的256条数值声明。作者发现，失败多源于论文与底层工作之间的对齐问题，而非公然造假；约五分之四缺乏支撑的声明，对应智能体自身文件中来自错误实验、指标或运行的值。论文提出一种确定性的声明—证据核查器，在盲测标注者下以超过90%的精确率认证声明，但只覆盖部分声明；与LLM核查器结合使用效果更佳。
要点速读
- 论文重新分析540条公开判定，并人工标注18份提交中的256条数值声明。
- 约五分之四缺乏支撑的数值声明，对应智能体文件中来自错误实验、指标或运行的值。
- 确定性核查器在盲测标注者下精确率超过90%（78/85，Cohen's kappa=0.89），但仅能验证部分声明；LLM核查器能找回更多可追溯声明，却接受约三倍数量的错配声明。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。