Info-GRPO 用潜种子互信息替代逐 token 熵正则化。
资讯摘要
论文针对 GRPO 训练长思维链时易出现的策略崩溃问题，指出熵正则化在长轨迹下与收敛所需的熵衰减相冲突，且系数难调。作者提出 Info-GRPO，利用潜变量与轨迹间的互信息，在训练时用潜种子增强提示，使多样性体现在整条推理轨迹而非逐 token 随机性。作者报告其在多个推理基准上优于 GRPO 与熵正则化 GRPO，AIME24 上四个骨干的 Avg@8 分别提升 3.75%、1.66%、4.16%、4.17%，并以 8 倍更少样本达到相同多数投票准确率。
要点速读
- 论文指出 GRPO 长轨迹训练易策略崩溃，熵正则化与收敛所需熵衰减冲突、系数难设。
- Info-GRPO 基于潜变量与轨迹的互信息，用潜种子增强提示实现轨迹级多样性探索。
- 作者报告 AIME24 上 Avg@8 较 GRPO 提升 3.75%–4.17%，多数投票达同精度所需样本少 8 倍。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。