新基准显示医疗长周期工作流智能体解决率最高仅28.0%
资讯摘要
论文提出χ-Bench（CHI-Bench），用于评测长周期医疗工作流自动化，覆盖提供方事前授权、支付方利用管理和护理管理三个领域。任务在含20个医疗应用、87个MCP工具的高保真模拟器中运行，并需遵循1290余份文件的管理式医疗操作手册。作者报告，在30种智能体配置中最佳仅解决28.0%任务，严格pass^3无人超过20%，单会话执行全部任务时降至3.8%。
要点速读
- 基准覆盖提供方事前授权、支付方利用管理和护理管理三类长周期工作流。
- 模拟器包含20个医疗应用和87个MCP工具，任务需依据1290余份文件的操作手册完成。
- 作者报告30种智能体配置中最佳解决率28.0%，严格pass^3均低于20%，单会话执行全部任务时降至3.8%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。