TACE用两阶段估计改进GRPO优势与信用分配
资讯摘要
论文重新审视GRPO中的优势估计，指出token级优势可分解为样本级基线与token级信用分配两阶段，现有估计器通常只处理其一。作者提出TACE：第一阶段用一维最优传输映射到标准正态，统一各任务奖励分布并限制离群值；第二阶段对轨迹内停止梯度证据对比做秩校准，并重归一化裁剪后的token权重使均值为一。论文证明其矩公平性、尾部界与质量守恒等性质，在多模态推理基准多数设置上取得最强结果，但并非全面领先。
要点速读
- 论文将GRPO优势估计分解为样本级基线与token级信用分配两阶段，指出现有方法多只覆盖其中一阶段。
- TACE第一阶段用一维最优传输映射到标准正态，第二阶段做秩校准并重归一化token权重以守恒总信用。
- 作者报告在多模态推理套件多数基准上结果最强，但未在所有设置中占优。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。