FastRL：面向GRPO的优势感知剪枝与自适应采样

FastRL以剪枝和自适应采样为GRPO类方法提速并提升准确率。

资讯摘要

论文提出FastRL，一个可插拔的强化学习框架，用于缓解GRPO等方法因每题多次采样和逐token重复概率计算带来的开销，以及低信息轨迹降低学习信号效率的问题。方法包含优势感知剪枝策略，保留高优势轨迹并提升轨迹间梯度多样性；以及基于历史剪枝分布动态调整采样规模的自适应rollout采样机制。作者报告在Geometry3K和GeoQA8K-R1V上平均训练加速2.07倍，视觉推理基准平均准确率提升约1.64%。

要点速读

1. FastRL由优势感知剪枝与自适应rollout采样两部分组成，可接入GRPO、DAPO、GSPO变体。
2. 作者报告在Geometry3K和GeoQA8K-R1V上平均训练加速2.07倍。
3. 作者报告视觉推理基准平均准确率提升约1.64%，代码计划在GitHub发布。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。