闭环课程自适应何时有助于GRPO：Countdown任务分析

闭环课程自适应在GRPO中间难度区间带来最大增益

资讯摘要

论文提出CLOSEDLOOPGAUSSIAN，一种用于有序推理任务强化微调的轻量自适应课程方法。它保留Easy-to-Hard高斯采样器结构，利用周期性探测的各难度准确率估计动态调整课程节奏与分布宽度：模型领先参考课程时加速，落后时减速，早期难度回退时扩大采样范围。作者在符号算术推理任务上报告，该方法相比原始GRPO和固定开环课程提升了精确匹配准确率，中间难度区间增益最强。

要点速读

1. 论文提出CLOSEDLOOPGAUSSIAN，在不改变奖励函数、模型架构和GRPO优化器的情况下动态调整课程节奏与采样分布
2. 控制器依据周期性探测的各难度准确率估计，在模型领先时加速、落后时减速、早期难度回退时扩大采样
3. 作者在符号算术推理任务上报告，该方法相比原始GRPO和固定开环课程提升精确匹配准确率，中间难度区间增益最强

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。