新基准显示 LLM 在多轮临床问答中证据定位仍是短板。
资讯摘要
论文提出 EHRNote-ChatQA，作者称其为首个面向患者多份出院小结、要求证据支撑的多轮临床问答基准。该基准基于去标识化的 MIMIC-IV 出院小结构建，含 967 个患者级多轮样本、覆盖 1 至 5 份病历，共 16,072 条经医学专家核验的问答对，分属八个临床类别。作者对 24 个专有与开放权重 LLM 的评测显示，模型在证据定位上比内容回答更吃力，多轮错误会逐轮累积，单轮临床问答表现难以迁移到该场景。
要点速读
- 基准含 967 个患者级多轮样本、16,072 条专家核验问答对，覆盖 1 至 5 份出院小结与八个临床类别。
- 构建流程结合出院小结结构化 schema、专家设计的多轮问答模板与 LLM 生成，每条样本由 12 位医学专家审核修订。
- 对 24 个专有及开放权重 LLM 的评测显示：证据定位难于内容回答、多轮错误累积、单轮表现不能可靠迁移。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。