REOPOLD 通过放宽 token 级信用分配提升在线策略蒸馏效率。
资讯摘要
论文提出 REOPOLD（Relaxed On-Policy Distillation）框架，针对采样 token 的在线策略蒸馏（OPD）中熵崩溃与负迁移问题，指出统一信用分配是关键瓶颈：现有目标对学生生成轨迹上的 token 均匀施加教师反馈，而 token 级信号高度异质，多数 token 信用接近零，少数重尾负信用主导更新并过早抑制合理推理路径。REOPOLD 通过控制教师反馈施加位置、影响强度及分配规则变化时机来放宽统一分配。作者报告在多种推理任务上相较近期后训练基线提升采样效率最高 12 倍，并可扩展至跨词表蒸馏、自蒸馏与测试时扩展。
要点速读
- 论文将采样 token OPD 的熵崩溃与负迁移归因于统一信用分配，token 级信号异质且负信用呈重尾分布。
- REOPOLD 从教师反馈施加位置、影响强度、分配规则变化时机三方面放宽统一分配。
- 作者报告在多种推理任务上采样效率最高提升 12 倍，并适用于跨词表蒸馏、自蒸馏和测试时扩展。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。