同一批对话，评分方式不同使补救成功率相差39.2个百分点。
资讯摘要
论文提出MisconceptDialogue，一个全自动框架，让五个7B–14B开源权重LLM辅导模型与LLM模拟学生进行5000多轮对话，考察其能否在多轮对话中识别错误、诊断误解并补救。作者报告：同一批对话下，基准式精确匹配评分给出42.1%的补救成功率，而经人工校准的LLM-as-judge给出81.3%，相差39.2个百分点，大于辅导模型、教学策略与诊断信息三者效应之和；四个独立LLM评审与200条人工标注结果接近。作者还称，告知真实误解或故意替换的误解，得分几乎不变。
要点速读
- 框架在五个7B–14B开源权重LLM辅导模型与LLM模拟学生间运行5000多轮对话，作者说明模拟协议结果不代表真实学生学习效果。
- 同一对话下，精确匹配评分测得补救成功率42.1%，人工校准的LLM-as-judge测得81.3%，差距39.2个百分点。
- 四个独立LLM评审与200条人工标注收敛在数个百分点内（kappa最高0.91）；告知真实或替换的误解，得分几乎不变。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。