新基准显示顶尖科研智能体高分运行占比仍低。
资讯摘要
论文提出 SCI-AGENT-EXAM，一个面向科研工作流的智能体基准，包含 11 个科学领域、7 类研究任务的 120 个专家筛选任务，每项任务同时要求可执行产物（代码、脚本）与文本产物（报告、解释）。作者采用混合评测协议：可执行产物用确定性程序化验证，文本产物用经校准且专家验证的 LLM 评判器。对 10 个前沿 LLM 智能体的实验显示，GPT-6 Astra 总分最高为 80.9，但仅 26.0% 的运行超过 0.95 成功阈值。
要点速读
- 基准含 120 个专家筛选任务，覆盖 11 个科学领域与 SWTT 定义的 7 类研究任务。
- 评测结合程序化验证与专家校准的 LLM 评判器，并分析执行轨迹中的进度与稳定性。
- 10 个前沿智能体中 GPT-6 Astra 总分最高 80.9，仅 26.0% 运行超过 0.95 成功阈值。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。