新基准用可执行契约衡量 CRM 智能体的多步任务成功率。
资讯摘要
论文提出 CRM-Agent-Bench，一个面向客户关系管理场景的执行型基准，包含九个业务领域、36 个能力标签下的 555 个有状态多轮任务。每个任务配有可执行契约，检查动作、参数、顺序、响应、目标状态与受保护状态，成功需全部检查同时满足。作者报告在审计后的最终版本上评估 16 个系统，严格成功率介于 64.32% 至 83.60%，领先系统在成本与分领域可靠性上差异明显。
要点速读
- 基准含 555 个有状态多轮任务，覆盖九个业务领域与 36 个能力标签。
- 每个任务用可执行契约定义成功，涵盖动作、参数、顺序、响应、目标状态与受保护状态。
- 作者报告 16 个系统严格成功率 64.32%–83.60%，并给出覆盖率、延迟与成本。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。