DRIFT：缓解强化微调中的多样性坍缩

DRIFT用三种机制缓解强化微调图像生成的多样性坍缩。

资讯摘要

论文指出强化学习微调扩散与流模型时存在多样性坍缩问题，策略会退化为狄拉克δ分布。作者提出DRIFT框架，从奖励集中子集采样、随机变化提示扩展条件空间、组内多样性奖励塑形三方面激励输出多样性。作者报告DRIFT在对齐与多样性上呈帕累托优势，匹配对齐时多样性高3.88%~81.42%，匹配多样性时对齐高14.38%~56.45%，代码已开源。

要点速读

1. 论文将多样性坍缩归因于目标形式与优化景观使策略退化为狄拉克δ分布。
2. DRIFT采用奖励集中子集采样、随机提示变化和组内多样性奖励塑形三种手段。
3. 作者报告在匹配对齐下多样性提升3.88%~81.42%，匹配多样性下对齐提升14.38%~56.45%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。