新基准 MedicalBench 聚焦隐含医学概念抽取与证据定位。
资讯摘要
论文提出 MedicalBench,一个用于医学概念抽取并带证据定位的基准,重点评估隐含医学推理。该基准将任务设为对病历-概念对的验证并识别句级证据,数据来自 MIMIC-IV 出院小结与人工核验的 ICD-10 编码,经多阶段 LLM 筛选、医学标注和专家复核构建,刻意包含隐含正例、语义易混负例及 LLM 与专家判断不一致的案例。作者报告现有先进 LLM 表现有限,且性能基本不受病历长度影响。
要点速读
- 基准包含两个任务:医学概念抽取与句级证据检索,兼顾正确性与可解释性。
- 数据由 MIMIC-IV 出院小结和人工核验的 ICD-10 编码构建,经 LLM 筛选、医学标注与专家复核。
- 作者报告先进 LLM 在该基准上表现有限,且性能基本不随病历长度变化。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。