M4Bench显示临床衍生任务增益主要来自规范完整性而非skill格式。
资讯摘要
论文提出M4Bench基准，基于MIMIC-IV与eICU构建28个临床衍生任务、覆盖15个任务族，检验AI编码智能体能否复现EHR衍生变量定义，并考察经临床医生审核的agent skills对结果的影响。作者报告在Docker隔离的Codex实验中，skills使奖励较无skill基线提升0.136，28项任务中26项改善；增益主要来自规范完整性，单独提供可操作规范即提升0.162，skills仅再增0.024。
要点速读
- M4Bench含28个临床衍生任务、15个任务族，数据来自MIMIC-IV和eICU，控制项拆解skills价值为规范完整性、交付格式与schema熟悉度。
- Codex实验（GPT 5.4 Mini与GPT 5.5）中skills提升奖励0.136，26/28任务改善；八任务子集上仅规范即提升0.162，skills额外仅0.024。
- 严格检查通过率很低：280次带skill运行仅25次全通过，无skill为13次；skills对返回行影响很小（key F1 +0.003）。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。