新基准显示前沿智能体跨学科复现论文的能力仍有限。
资讯摘要
论文提出 PAPERBENCHX 基准，包含 93 个由专家构建的论文复现任务，覆盖电磁学、光子学、化学、材料科学、生物学和机器人等 12 个研究领域。每个任务提供原论文、公开任务说明和含专业科学软件的领域原生环境，要求智能体重建关键实验并交付可运行工作流。评测从零重放提交，仅对重新生成的证据按专家标准打分。作者报告，10 种前沿智能体配置中最佳者仅完整复现 14% 的任务（90% 阈值），平均评分 27.53% 至 59.08%。
要点速读
- 基准含 93 个专家构建的论文复现任务，横跨 12 个研究领域。
- 评测方式为从零重放提交，只对重新生成的证据按专家验证标准评分。
- 作者报告最佳智能体配置在 90% 阈值下仅完整复现 14% 任务，平均评分 27.53%–59.08%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。