HIVE 用历史奖励与提示熵在 rollout 前筛选高效用提示。
资讯摘要
论文关注大语言模型推理任务强化学习后训练中，GRPO 等算法对每个提示多次 rollout 带来的高昂计算开销，指出大量提示梯度贡献很小。作者分析发现样本效用不均匀且随训练变化，最强学习信号集中在中等难度与高不确定性的“学习边缘”。据此提出双阶段框架 HIVE，用历史奖励轨迹做粗选、以提示熵实时剪枝失效样本。作者报告在多个数学推理基准和模型上提升了 rollout 效率且未损害性能。
要点速读
- 论文指出 GRPO 等算法对每个提示多次 rollout 成本高，许多提示效用低。
- 作者观察到学习信号集中在中等难度与高不确定性的“学习边缘”，并随训练移动。
- HIVE 结合历史奖励轨迹粗选与提示熵实时剪枝，作者报告在数学推理基准上提升 rollout 效率且性能不降。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。