Flat-RLVR：用锐度感知强化学习缓解分布锐化

Flat-RLVR 用锐度感知最小化缓解 RLVR 的分布锐化

资讯摘要

论文提出 Flat-RLVR，针对 RLVR（尤其是 GRPO）在提升大模型推理能力时引发的分布锐化问题——策略分布过度集中、稀有但正确的轨迹被逐步压制、样本多样性下降。作者在理论上将平坦奖励最优与分布锐化减弱相关联，并在后训练中通过锐度感知最小化搜索平坦奖励区域，与 GRPO 变体结合，以权衡采样效率与推理能力。作者报告样本多样性提升，同时保持单次尝试准确率。

要点速读

1. 论文指出 RLVR/GRPO 会导致分布锐化，压制稀有但正确的轨迹，降低样本多样性
2. Flat-RLVR 在后训练中用锐度感知最小化搜索平坦奖励区域，并与 GRPO 变体结合
3. 作者报告样本多样性提升，单次尝试准确率保持不变

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。