信任域策略蒸馏 TOP-D

TOP-D 用近端教师稳定在线策略蒸馏且不增开销

资讯摘要

论文提出 Trust Region Policy Distillation（TOP-D），通过动态构建近端教师，将高方差的 On-Policy Distillation（OPD）转化为更稳定的训练范式。作者从理论上给出梯度方差控制、全局收敛分析与单调改进界，并在数学推理任务上报告训练稳定性、样本效率和最终性能提升，且不增加额外计算开销。

要点速读

1. 论文提出 TOP-D，用动态构建的近端教师改造不稳定的 On-Policy Distillation（OPD）
2. 作者建立理论框架，声称可控制梯度方差，并给出全局收敛分析与单调改进界
3. 在数学推理任务上，作者报告训练稳定性、样本效率与最终性能提升，且无额外计算开销

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。