双奖励RLIF框架缓解训练崩溃

论文用双内部奖励加正则化缓解无监督RL训练崩溃

资讯摘要

论文提出一种多奖励强化学习内部反馈（RLIF）框架，将训练信号拆分为基于聚类投票的答案级奖励和基于逐token自置信度的补全级奖励，并用GDPO归一化缓解奖励尺度失衡，同时引入KL-Cov正则抑制低熵分布导致的熵骤降。作者报告在数学推理与代码生成基准上，该方法比既有无监督RL方法更稳定，性能接近有监督RLVR。

要点速读

1. 将RLIF训练信号分解为答案级聚类投票奖励与补全级token自置信度奖励
2. 采用GDPO归一化平衡两类奖励尺度，并用KL-Cov正则针对低熵token分布以保留探索
3. 作者报告在数学推理和代码生成基准上稳定性优于先前无监督RL方法，性能接近有监督RLVR

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。