开源System One模型MedJev零样本接近GPT-4医学答题水平
资讯摘要
论文提出并评估MedJev，一个可在笔记本本地运行的开源System One模型，在十个医学基准上做零样本测试。作者报告其在MedQA、USMLE、NEJM上分别达72.5%、75.4%、80.1%，接近已发表的GPT-4表现；院内死亡AUROC为0.926，高于XGBoost的0.902，但急诊分诊入院等运营类任务不及监督模型，患者级预测校准较差。作者另提出两参数重校准方法，用50至200个标注样本将ECE降至0.007，并公开代码与评测框架。
要点速读
- MedJev在MedQA、USMLE、NEJM上分别达72.5%、75.4%、80.1%，作者称接近已发表GPT-4结果。
- 院内死亡预测AUROC为0.926，高于XGBoost的0.902；急诊分诊入院为0.745，低于监督模型的0.809。
- 患者级预测校准不佳（院内死亡ECE 0.286），两参数重校准用50至200个标注样本可降至0.007。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。