代理常以不合规路径达成正确结果，流程遵循是主要短板。
资讯摘要
论文提出 BABA-Bench，一个由 47 个交互世界组成的基准，每个世界基于经专家审核的去标识化真实患者权益案例构建，要求代理寻找隐藏信息并协调保险公司、诊所、供应商、药房和社区组织。引擎在执行动作时即时检查权限、证据与禁止行为。作者报告对 14 个前沿模型各运行三次共 1,974 次，在 921 次达成全部必需结果的运行中，254 次（28%）未遵循必要流程；Claude Opus 5 达成全部结果的比例为 81.6%，但通过全部检查的比例仅 52.5%。
要点速读
- 基准含 47 个交互世界，源自去标识化真实患者权益案例，经专家审核。
- 引擎在动作发生时检查代理是否获得权限、是否有证据、动作是否被禁止。
- 作者报告 921 次达成全部结果的运行中 28% 未遵循必要流程；给出已验证路线后，两个模型的通过率分别从 29.8% 升至 91.5%、从 44.0% 升至 97.2%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。