新基准显示最强LLM仅55.8%满足开放式辅导评分标准。
资讯摘要
论文提出 TutorCaseBench，一个以教育学、教育心理学和特殊教育中的质性案例研究为基础的 AI 辅导者评测基准。其流程将记录的学生类别转化为具体案例场景、师生对话和基于来源证据的评分标准，包含五类挑战下的 923 段对话，通过开放式回答生成（1,560 题）和多项选择（2,537 题）进行评估。作者报告，在 11 个先进 LLM 中，最强模型在开放式案例中仅 55.8% 满足评分标准，模型选择合适策略的能力优于生成情境化回应，开源权重模型差距更明显。
要点速读
- 基准包含五类挑战下的 923 段师生对话，评估分开放式生成（1,560 题）与多项选择（2,537 题）两种形式。
- 作者报告 11 个先进 LLM 中，最强模型在开放式案例中仅 55.8% 满足评分标准。
- 结果显示模型更擅长选择策略而非生成情境化回应，开源权重模型差距尤其明显；数据已在 GitHub 公开。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。