基于优势的在线策略蒸馏 AOPD

AOPD 按学生实际获益加权教师监督，无需额外 rollout。

资讯摘要

论文提出 Advantage-Based On-Policy Distillation（AOPD），指出标准在线策略蒸馏默认教师指导始终有益，但教师偏好与学生实际获益并不一致。AOPD 按教师动作在学生策略下的反事实优势加权，强化能提升学生期望结果的动作、降低其余动作权重，并证明该目标仅用学生 rollout 与终端奖励即可无偏估计，无需额外 rollout 或奖励评估。作者报告在数学、编程和 Medqa 任务上，外部教师与自蒸馏设置均优于蒸馏和 RL 基线。

要点速读

1. AOPD 用反事实优势对教师动作加权，区分教师偏好与学生实际获益
2. 该目标仅依赖学生 rollout 和终端奖励估计，保持标准 OPD 的 rollout 效率
3. 论文报告在数学、编程、Medqa 上优于蒸馏与 RL 基线，覆盖外部教师和自蒸馏

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。