新医疗智能体基准中最高成功率仅 57.3%
资讯摘要
论文提出 HealthAgentBench，一套包含 75 个智能体医疗任务、覆盖 9 个类别且每类配有独立环境的基准，涉及诊断、标本评估、研究与数据管理，要求智能体探索原始医疗数据并完成多步操作。作者用二元成功标准评测六个智能体共 450 次，成功率 32.0%–57.3%，Claude Code Opus-5.5 以 57.3% 居首，CT、MRI 等影像类别尤其困难。
要点速读
- 基准含 75 个任务、9 个类别，每类有独立环境，覆盖诊断、标本评估、研究与数据管理及多种模态。
- 任务要求智能体查询大型临床数据库或解读千兆像素病理图像，按参考标签、可执行规则或计算基线做二元评分。
- 六个智能体各任务一次尝试共 450 次评测，成功率 32.0%–57.3%，Claude Code Opus-5.5 最高，GPT-6-astra 与 Sonnet-5.5 均为 50.7%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。