难度估计策略优化 DEPO

DEPO 用在线难度估计过滤样本，加速推理模型训练。

资讯摘要

论文提出 Difficulty-Estimated Policy Optimization（DEPO），针对 GRPO 在过易或过难问题上梯度信号衰减、组间优势消失的问题，引入在线难度估计器，在 rollout 前动态评估并过滤训练数据，把算力优先分配给学习潜力高的样本。作者报告，在所述配置下 DEPO 的 rollout 速度约为 DAPO 的 1.86 倍，并在相近训练成本下提升基准表现。

要点速读

1. DEPO 在 rollout 前用在线难度估计器评估并过滤数据，优先训练高学习潜力样本。
2. 作者报告在所述配置下 rollout 速度约为 DAPO 的 1.86 倍。
3. 在相近训练成本下，DEPO 的基准表现优于 GRPO。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。