隐去选项后医学基准准确率从82.3%跌至50.9%
资讯摘要
论文评估六家厂商共14个模型在四个医学基准的3076道题上的表现，比较标准选择题、隐去选项及仅凭选项重建题干三种设置。作者报告最强模型在MedQA-USMLE和PubMedQA上超过人类专家基线，但小模型落后大模型8.7个百分点，仅两个通过医师资格考试人类基线；隐去选项后平均准确率从82.3%降至50.9%，两个医学专用模型降幅最大。最强模型能仅凭选项重建四分之一题目，但在无法重建的题上准确率保持稳定。
要点速读
- 评估14个模型、4个医学基准共3076题，覆盖选择题、隐去选项、仅凭选项重建题干三种设置
- 隐去选项后平均准确率由82.3%降至50.9%，医学专用模型降幅最大
- 最强模型可仅凭选项重建约四分之一题目，但在无法重建的题上准确率未见下降
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。