新基准显示主诊断准确率高不代表诊断列表更精确。
资讯摘要
论文提出 CardioVascBench,一个基于真实中文心血管住院记录的回顾性基准,用于评估按优先级排序的诊断生成。数据集含 3,262 例去标识化病例(2,174 例训练、1,088 例评估),将临床叙述与心电图文本报告关联到经专家核验、按 ICD-10 标准化的有序出院诊断,并提供评估集英译以支持跨语言比较。评测协议结合术语归一化与排序感知评分,分别考察主诊断识别、参考诊断覆盖与列表精确率。对 36 个系统的评测显示,主诊断准确率更高并不必然意味着列表精确率更高。作者还给出知识增强基线 CardioKG-Agent,在三个基线模型的分阶段比较中,监督微调加该智能体的平均综合得分比仅微调高 73.5%。
要点速读
- 基准含 3,262 例中文心血管住院病例,2,174 例训练、1,088 例评估,诊断经专家核验并按 ICD-10 标准化排序。
- 评测协议分别评估主诊断识别、参考诊断覆盖和列表精确率;36 个系统的结果显示主诊断准确率高不代表列表精确率高。
- 作者报告 CardioKG-Agent 结合实体归一化、受限图检索与指南证据,在分阶段比较中使平均综合得分较仅微调提升 73.5%。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。