能力感知的多教师在线策略蒸馏

论文用能力差距而非行为差异分配多教师蒸馏强度

资讯摘要

论文提出 CA-MOPD 方法，用于多教师在线策略蒸馏。作者指出，现有基于行为差异的监督分配可能在学生已追平教师时仍施加强监督；CA-MOPD 先将强化学习专家合并为学生初始化，再用验证器估计的师生能力差距调整各领域蒸馏强度。在数学、代码生成和指令遵循六个基准上，作者报告平均得分 32.22，高于 naive MOPD、Open-MOPD 和合并初始化。

要点速读

1. 论文提出 CA-MOPD，结合专家合并与能力引导的蒸馏强度分配
2. 用验证器估计的师生能力差距调节领域级监督，差距缩小则减弱监督
3. 六个基准平均得分 32.22，作者报告分别高出 naive MOPD、Open-MOPD 和合并初始化 0.86、0.83、0.74 分

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。