最佳系统在项目级交付评测中仅得65分,任务能力难以自动组合为交付能力。
资讯摘要
论文提出 DeliverBench 基准,用于测试智能体能否把项目从需求简报推进到最终交付。该基准包含 11 个项目,覆盖财务尽职调查、法律合同起草和药物安全报告,由 13 位领域专家依据真实材料重建,串联 150 个子任务,并经过 2 至 15 轮新材料与客户反馈。由于不注入参考输出,智能体会把自身错误带入后续任务。作者报告,在七个模型与执行框架组合中,最佳系统最终交付仅得 65.0 分,子任务在 90 分阈值下通过率为 50.0%。
要点速读
- DeliverBench 含 11 个专业项目、150 个子任务,由 13 位领域专家基于真实材料构建。
- 评测不注入参考输出,智能体的错误会跨任务累积,专家评分覆盖各检查点与最终交付包。
- 七个模型-框架系统中最佳最终交付得分 65.0/100,子任务 90 分阈值通过率 50.0%。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。