标签引导归纳标准更利于生成可解释假设，而非稳定提升难度判断。
资讯摘要
论文利用USMLE与PANCE训练题目的经验难度标签，引导Claude Opus 5归纳难度评分标准，并比较商业与开放权重模型在无引导和标准引导下的判断表现。作者报告，归纳出的标准未把题干长度、选项数量或图像等表层特征视为主要难度来源，而呈现线索汇聚、误导线索和选项竞争等模式；标准引导改变了模型使用难度量表的方式，但未稳定提升判断表现。
要点速读
- 研究以USMLE和PANCE题目的经验难度估计为标签，让Claude Opus 5分别归纳绝对难度与成对比较的评分标准。
- 归纳标准未将题干长度、选项数量、图像等表层特征列为主要难度来源；PANCE标准更强调检索题干外知识，USMLE标准更强调整合多条临床线索。
- 在留出题目上，标准引导扩大了模型对难度量表的使用并改善粗粒度一致性，但未稳定改善排序；成对比较中判断更易受呈现顺序影响。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。