LLM 充当评委与考生预测医学题目难度

开放权重 LLM 的评委与考生信号可预测医学题目难度。

资讯摘要

论文提出用开放权重 LLM 与试题交互产生的信号来预测医学题目难度。研究以 USMLE 和 PANCE 试题为对象，让模型分别担任评委（给出绝对难度评分和两两难度比较）和模拟考生（生成正确性、正确选项概率、响应熵及前两项概率差等信号），再与基线题目特征结合做下游预测。作者报告两两难度判断是最稳定的单一信号，最佳配置在 USMLE 上 Spearman 相关系数 ρ=.447，在 PANCE 上为 ρ=.494，与 Claude Opus 5 的直接绝对判断相当。

要点速读

1. 论文让开放权重 LLM 分别担任评委和模拟考生，提取难度相关信号并与基线题目特征结合预测难度。
2. 作者报告两两难度判断在两个数据集上都是最一致的单一 LLM 信号，最佳配置 USMLE ρ=.447、PANCE ρ=.494。
3. 作者称结果与 Claude Opus 5 直接绝对判断（ρ=.443 和 .488）相当，且模型可本地部署，适用于未发布或高保密试题。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。