回到最新动态
论文更新 / THE SIGNAL

临床推理评估量表综述:现有工具与缺口

A rubric landscape for evaluating clinical reasoning in large language models: what exists, what is missing, and what needs to be combined

重要性 4.5 AI 辅助整理

综述称现有临床推理评估工具无单一覆盖六维度,忠实性最薄弱。

资讯摘要

这篇结构化叙述性综述梳理医学教育评估工具、2023年以来的临床LLM基准和通用长文本生成评估方法,从问题表征、时间综合、鉴别与管理推理、反事实推理、校准不确定性、推理忠实性六个维度考察。作者指出,没有单一工具覆盖全部六维;问题表征与鉴别/管理推理覆盖较好但可靠性不一,忠实性最薄弱,仅找到一项针对选择题的临床因果消融研究。综述建议以二元量表条目、分开的完整性与正确性评分、病例特定权重与不可补偿安全上限、时间顺序一致性检查及机会校正可靠性报告来组合现有工具,并称其为设计依据而非已验证工具。

要点速读

  1. 综述覆盖六个临床推理评估维度,指出无单一工具能全部覆盖。
  2. 问题表征与鉴别/管理推理覆盖较好;忠实性最弱,仅一项选择题因果消融研究。
  3. 建议组合现有工具,采用二元量表、分开评分、安全上限与时间一致性检查。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开