PAPO 用非对称优势聚合防止辅助奖励压过主目标。
资讯摘要
论文指出，LLM 后训练常需同时优化正确性与推理效率等优先级不同的目标，而 RL 中常用的加性奖励聚合可能让辅助优势信号压过主目标，作者称之为“优势优先级反转”。为此论文提出 Primary Advantage Policy Optimization（PAPO），对主优势与辅助优势做非对称聚合：两者一致时保留辅助监督，冲突时平滑衰减辅助信号，从而在融合中保持主目标符号。该方法适用于 GRPO 的序列级优势与 actor-critic PPO 的 token 级优势。作者报告在多领域、多模型实验中，PAPO 在 GRPO 与 PPO 两类优化下均取得最佳主目标表现，辅助目标表现最佳或具竞争力。
要点速读
- 论文提出“优势优先级反转”问题：加性奖励聚合下，足够大的辅助优势可能推翻主目标偏好。
- PAPO 非对称融合主、辅优势，冲突时平滑衰减辅助信号并保持主目标符号。
- 作者报告在 GRPO 与 PPO 优化下，多领域多模型实验中主目标表现均为最佳。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。