回到最新动态
论文更新 / THE SIGNAL

DeliverBench:评测AI智能体交付多阶段专业项目的能力

DeliverBench: Benchmarking AI Agents on Delivering Realistic Multi-Stage Professional Projects

重要性 5.5 AI 辅助整理

最佳系统在项目级交付评测中仅得65分,任务能力难以自动组合为交付能力。

资讯摘要

论文提出 DeliverBench 基准,用于测试智能体能否把项目从需求简报推进到最终交付。该基准包含 11 个项目,覆盖财务尽职调查、法律合同起草和药物安全报告,由 13 位领域专家依据真实材料重建,串联 150 个子任务,并经过 2 至 15 轮新材料与客户反馈。由于不注入参考输出,智能体会把自身错误带入后续任务。作者报告,在七个模型与执行框架组合中,最佳系统最终交付仅得 65.0 分,子任务在 90 分阈值下通过率为 50.0%。

要点速读

  1. DeliverBench 含 11 个专业项目、150 个子任务,由 13 位领域专家基于真实材料构建。
  2. 评测不注入参考输出,智能体的错误会跨任务累积,专家评分覆盖各检查点与最终交付包。
  3. 七个模型-框架系统中最佳最终交付得分 65.0/100,子任务 90 分阈值通过率 50.0%。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开