打乱共享题目词序可提升 OPSD 准确率，打乱教师示例则有害。
资讯摘要
论文研究在线自蒸馏（OPSD）中输入结构的作用，提出 Shuffled OPSD：打乱学生与教师共享的题目词序，但保留仅教师可见的完整解题示例。在三个数学推理基准和三种 Qwen3 模型规模上，该方法在相同训练配置下平均准确率高于完整题目对照与标准 OPSD，最大提升为 Qwen3-1.7B 上的 3.52 个百分点。作者报告，保留更大词块无额外优势，而打乱教师专属示例会降低各规模准确率。
要点速读
- Shuffled OPSD 打乱共享题目词序，保留教师专属完整解题示例。
- 在三个数学推理基准、三种 Qwen3 规模上，平均准确率优于完整题目对照和标准 OPSD，最大提升 3.52 个百分点（Qwen3-1.7B）。
- 保留更大词块相比词级打乱无优势；打乱教师专属示例在各规模均降低准确率。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。