NgramRL 用近期 rollout 历史做 n-gram 草稿，加速 RL 后训练生成。
资讯摘要
论文提出 NgramRL，针对强化学习后训练中自回归 rollout 生成耗时占比高的问题，用同一提示近期 rollout 历史构建逐提示 n-gram 草稿器，无需辅助模型、草稿器训练或常驻 GPU 状态，并由目标模型验证保持分布。作者还引入自适应 fan-out 预取器预测验证结果。论文报告在两个模型家族、三类推理与结构化生成任务上，热缓存下每次目标模型前向提交 3.60–7.77 个 token。
要点速读
- NgramRL 从有界近期 rollout 历史构建逐提示 n-gram 草稿器，无需辅助模型、草稿器训练或常驻 GPU 草稿状态，目标模型验证保持 rollout 分布。
- 论文报告热缓存下每次目标模型前向提交 3.60–7.77 个 token，比 SuffixDecoding 最多高 1.99 倍，比 prompt-lookup decoding 高 7.0 倍。
- 在 Spider 上，预取器在候选预算 16 时覆盖 Qwen3-8B 的 96.6% 结果，实测 rollout 吞吐比同步 NgramRL 提升 1.38 倍，接近 1.40 倍重叠上限。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。