GPDPO：用组帕累托支配优化处理奖励冲突

GPDPO 将帕累托支配关系转为辅助偏好信号以复用冲突过滤的 rollout。

资讯摘要

论文提出 GPDPO（Group Pareto-Dominance Policy Optimization），一种多奖励策略优化方法。针对多奖励强化学习中奖励信号冲突导致更新方向不明确的问题，该方法在采样回复间识别帕累托支配关系，将其转化为辅助偏好信号，与原始策略目标联合优化，从而复用被冲突过滤的 rollout，无需额外采样或奖励评估。作者报告在 API-Bank 上跨多种模型规模和奖励配置，GPDPO 持续优于对比的多奖励优化基线，并称其降低了组内相对与成对奖励冲突。代码将发布。

要点速读

1. GPDPO 从被冲突过滤的 rollout 中恢复成对监督，识别回复间的帕累托支配关系并转为辅助偏好信号。
2. 辅助信号与原始策略目标联合优化，复用已有 rollout，不需额外采样或奖励评估。
3. 作者报告在 API-Bank 上跨多种模型规模和奖励配置优于多奖励优化基线，并减少组内相对与成对奖励冲突。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。