新基准 ALE 显示智能体在长程经济任务上通过率不足 1%。
资讯摘要
论文提出 Agents' Last Exam（ALE）基准，用于评估 AI 智能体在长程、有经济价值且结果可验证的真实工作流上的表现。该基准与 250 多名行业专家合作开发，参照 O*NET / SOC 2018 职业分类覆盖非物理行业，设 55 个子领域、13 个行业集群、1000 多个任务。作者报告，在最难层级上，主流 harness 与 backbone 配置的平均完整通过率低于 1%。ALE 被设计为持续扩充的活基准。
要点速读
- ALE 覆盖 13 个行业集群、55 个子领域、1000 多个任务，任务结果可验证。
- 作者报告最难层级平均完整通过率低于 1%，远未饱和。
- 基准定位为持续扩充的活基准，目标是缩小基准成绩与 GDP 相关影响之间的差距。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。