回到最新动态
交叉发布 / THE SIGNAL

MedPhysBench:评估语言模型医学物理计算与查错能力

MedPhysBench: A Benchmark for Evaluating Language Models on Medical Physics Calculations and Error Detection

重要性 5.5 AI 辅助整理

新基准显示顶尖模型医学物理计算接近满分,但仍有特定系统性错误。

资讯摘要

论文提出 MedPhysBench,用十个种子生成器产出放射治疗、诊断影像、核医学与辐射防护的计算题,参考答案由实现相关协议的代码生成,评分器负责单位换算与容差判定。在 1200 道留出测试题上,12 个模型计算得分 33.3% 至 100.0%;表现最好的四个模型共 9 道判错,其中 5 道为模型自身错误,4 道因题目表述不清或留白而符合 NCRP Report 151。查错任务中,五个模型对多为明显植入错误的检出率至少 96.7%,误报不超过 4%。

要点速读

  1. MedPhysBench 含计算题与查错题,覆盖放疗、诊断影像、核医学和辐射防护,最高到 TG-51 校准工作表等临床任务。
  2. 1200 道留出测试题上,12 个模型计算得分 33.3%–100.0%;多数模型在 level-3 临床任务上表现最差。
  3. Claude Sonnet 5.5 在 20 道等中心 MU 题中有 19 道漏掉平方反比修正;五个模型查错检出率至少 96.7%。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开