DARS 用密度反比缩放奖励，缓解强化学习多样性坍缩。
资讯摘要
论文提出密度感知奖励缩放（DARS），一种简单的奖励处理机制：在每个同策略 rollout 组内估计结果的局部密度，并按密度反比缩放奖励，从而在连续结果空间中促进与奖励成比例的采样。该方法无需学习密度模型、辅助目标或 critic，也不改动底层策略梯度目标。作者报告，在多模态导航任务中 DARS-GRPO 避免了 GRPO 的单模态坍缩；在文本到图像提示适配中提升了图像与提示多样性，同时保持语义对齐。
要点速读
- DARS 通过估计 rollout 组内结果局部密度并反比缩放奖励，实现奖励比例采样，不修改策略梯度目标。
- 在多模态导航任务中，DARS-GRPO 避免 GRPO 的单模态坍缩，并接近目标模态分配。
- 在文本到图像提示适配中，作者报告跨数据集、Policy LM 和奖励设置下图像与提示多样性提升，语义对齐保持良好。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。