P²-MOPD：用参数先验加速多教师在线策略蒸馏

P²-MOPD 联合优化混合系数与学生权重，蒸馏恢复更快更高。

资讯摘要

论文提出 P²-MOPD，将学生与专家参数的线性组合视为单一可微模型，在同一在线策略蒸馏目标下联合优化混合系数与学生权重。与任务算术不同，学生保持可训练，专家仅作参数先验而不限制参数范围。作者报告在 1.7B 与 4B 规模、四个领域上，其恢复速度快于 MOPD，用一半训练步数超过后者最终平均恢复率；1.7B 模型最终平均恢复率达 94.7%，MOPD 为 80.9%。

要点速读

1. 方法把学生与专家参数的线性组合当作单一可微模型，联合优化混合系数和学生权重。
2. 专家参数仅作为先验，学生保持可训练，不受任务算术的参数跨度限制。
3. 作者报告在 1.7B 和 4B、四个领域上，用一半训练步数超过 MOPD 最终平均恢复率；1.7B 最终达 94.7%，MOPD 为 80.9%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。