AdaRoll-GRPO：用贝叶斯自适应MDP分配GRPO rollout预算

论文用贝叶斯自适应MDP为GRPO按题目难度分配rollout预算

资讯摘要

论文指出GRPO对每个训练问题分配相同的rollout预算，忽略题目难度差异，导致高难题rollout不足、中等题rollout过剩。作者提出AdaRoll-GRPO，将rollout分配建模为序贯决策问题，用贝叶斯自适应马尔可夫决策过程学习自适应分配策略，策略离线计算后用于GRPO训练，不增加在线优化开销。作者报告在多个推理数据集和LLM架构上，固定rollout预算下训练表现持续提升。

要点速读

1. 论文指出GRPO统一分配rollout预算，未考虑问题难度差异
2. AdaRoll-GRPO将rollout分配建模为序贯决策，用贝叶斯自适应MDP学习分配策略
3. 策略离线计算，训练时不引入额外在线优化开销；作者报告在多个推理数据集和LLM架构上固定预算下表现提升

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。