论文把 rollout 策略作为优化目标，提出 MPOPD 改进在线蒸馏。
资讯摘要
论文指出，在线蒸馏（OPD）通常固定 rollout 策略，每轮直接从当前学生模型采样，这可能造成教师与学生之间的失配不断累积：教师需监督学生采样出的、自身难以覆盖的轨迹，监督信号可能变得嘈杂甚至误导，导致重复等不良模式，并随训练持续放大。作者提出 Mixture Proposal On-Policy Distillation（MPOPD），从基于相对教师支持的局部信赖域目标导出以学生为锚、教师引导的 rollout 分布，即学生与教师策略的几何混合，并用 proposal 策略近似该混合，实现单次前向生成。
要点速读
- 论文认为 OPD 固定 rollout 策略会带来累积的教师—学生失配，教师对部分学生轨迹的监督可能嘈杂或误导。
- MPOPD 将 rollout 策略本身作为优化目标，目标分布为学生与教师策略的几何混合。
- 作者报告在 16 个数学、知识和医学推理基准上优于 OPD 及近期变体；在 Qwen3-4B-Base 数学推理上平均准确率提升 6.91，平均生成长度减少 41%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。