S³R 用自稀疏投机解码加速 RL rollout 且保持稠密策略分布。
资讯摘要
论文提出 S³R（Self-Sparse Speculative Rollouts），用稀疏注意力起草 token，再经全注意力验证与精确投机采样生成响应，使响应组仍服从稠密策略分布，且起草与验证共享同一策略参数，无需单独训练 drafter。作者报告在 Qwen3 长上下文数学推理任务上，端到端训练吞吐为自回归 rollout 的 1.39×/1.35×，任务表现相当。
要点速读
- 论文指出在其分析的 RLVR 负载中，注意力占自回归解码内核时间的 72–76%。
- S³R 以稀疏注意力起草、全注意力验证和精确投机采样生成响应，响应组遵循稠密策略分布。
- 作者报告在 Qwen3 长上下文数学推理上实现 1.39×/1.35× 端到端训练吞吐，任务性能相当。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。