论文用认知诊断模型为LLM生成技能级能力画像。
资讯摘要
论文提出SkillEval评估框架，针对传统基准评测只汇总为单一标量分数、忽略技能多样性的问题，利用LLM的元认知能力从题目中自动发现可解释技能，并借助心理测量学中的认知诊断模型（CDM）估计模型在各技能上的能力。作者在MATH、BBH、GPQA、MuSR、IFEval五个基准的9523道题、3811个模型上实验，报告其模型画像比平均分评估更校准、更能预测未见题目表现。
要点速读
- 框架结合LLM自动发现可解释技能与心理测量学CDM，实现跨模型、技能级分析。
- 实验覆盖5个基准、9523道题、3811个模型，作者报告其画像比平均分更校准且更能预测未见题目。
- 下游任务展示：LLM路由在提升表现的同时降低超60%推理成本；计算机自适应测试（CAT）可高效评估新模型。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。