S3AC：面向LLM推理的稳定选择性可扩展Actor-Critic

S3AC用可训练的critic改进LLM推理强化学习

资讯摘要

论文提出S3AC，针对长链式思维推理的强化学习，给出可用的critic训练方案，使critic提供token级优势与prompt级基线；并据此提出难度感知提示采样DAPS，在生成前筛选提示以减少rollout浪费。作者报告在1.5B至397B的稠密与MoE模型上，S3AC优于GRPO变体GRPO-X；35B规模下可维持单rollout训练，而无critic基线在初期提升后出现退化。

要点速读

1. 论文指出无critic方法缺少token级信用分配，通常依赖分组rollout估计prompt基线。
2. S3AC的训练critic提供token级优势与prompt级基线，DAPS用该基线估计难度并结合结果历史筛选提示。
3. 作者报告在1.5B至397B的稠密与MoE模型上优于GRPO-X，35B下可维持单rollout训练。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。