论文提出 CONCUR 优势估计器，协调多任务强化学习中的门控辅助奖励。
资讯摘要
论文提出 CONCUR 优势估计器，用于多任务、多奖励的 LLM 强化学习。作者指出，任务主奖励会门控长度等辅助奖励，但组相对优势估计器可能让辅助奖励反转主奖励的排序，或在主奖励达到上限时仅由辅助奖励决定排序；保留门控辅助奖励会损害部分任务，丢弃又会损害另一些任务。CONCUR 将每个门控辅助奖励的标准化分数替换为满足两项条件的最接近分数：主奖励更高的回复分数不得更低，主奖励达到上限的回复分数相等。CONCUR-T 全程应用两项条件，CONCUR-A 对在通过回复中与主奖励排序一致多于反转的辅助奖励解除第二项条件。作者报告，在两个系列的三个模型上，覆盖数学、代码、指令遵循和写作任务，两种变体平均得分高于所有基线，也高于丢弃全部门控辅助奖励。
要点速读
- 论文指出，组相对优势估计器可能让门控辅助奖励反转主奖励排序，或在主奖励达到上限时仅由辅助奖励决定排序。
- CONCUR 用满足两项排序条件的最接近分数替换门控辅助奖励的标准化分数；CONCUR-T 全程应用，CONCUR-A 对与主奖励排序更一致的辅助奖励解除第二项条件。
- 作者报告，在两个系列三个模型、数学/代码/指令遵循/写作任务上，两种变体平均得分高于所有基线及丢弃全部门控辅助奖励的做法。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。