风湿病学考试与病例题中Decision与System One模型评测

System One模型考试题准确率高，但诊断病例题明显偏低

资讯摘要

论文评估Decision与System One模型在风湿病学考试题和诊断病例题上的准确率与校准。使用172道西班牙专科培训题（RheumaMIR，西/英双语）和70个RheumBench英文诊断病例，比较Jev 1.13、Clef、Microsoft-Decision-1、Laya、GPT-6 Luna与GPT-6 Sol及两个本地生成模型。作者报告Jev在RheumaMIR准确率93.0%（西）和91.9%（英），低于GPT-6 Sol的99.4%；RheumBench上GPT-6 Sol为76.9%，各System One模型均低于它，Laya接近随机水平。

要点速读

1. RheumaMIR上Jev准确率93.0%（西班牙语）、91.9%（英语），GPT-6 Sol为99.4%
2. RheumBench上GPT-6 Sol 76.9%、GPT-6 Luna 63.5%、Clef 59.6%、Jev 50.0%、Microsoft-Decision-1 40.4%
3. Jev高置信度（概率≥0.90）预测在病例题中仅76-77%正确，GPT-6 Luna为84.6%

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。