RePPO 用 PPO 直接优化紧凑种群，兼顾质量与多样性。
资讯摘要
论文提出 Repulsive Population Policy Optimization（RePPO），将 PPO 扩展为用依赖种群、动态塑形的奖励联合优化一小组多样且高质量的策略，以减少对进化算子的依赖。作者报告在标准连续控制任务上取得较好的质量-多样性权衡，并通过消融分析各组件对个体质量与集体多样性的影响。论文还称在像素输入任务中保持与标准 PPO 相当的质量且多样性更高，并首次将 QD-RL 方法用于大语言模型微调。
要点速读
- RePPO 基于 Soft QD 视角改造 PPO，用种群依赖的动态奖励同时优化多样性与质量。
- 作者报告在连续控制任务上相较先进 QD-RL 方法取得较强的质量-多样性权衡，并做了组件消融。
- 论文称在像素任务中质量与标准 PPO 相当、多样性显著更高，并首次将 QD-RL 用于大语言模型微调。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。