PICO：专家数据与当前策略兼容的联合解码

PICO 用分布约束联合解码为全失败难题提供可验证学习信号。

资讯摘要

论文针对 RLVR 在超出模型能力的问题上所有 rollout 均失败、GRPO/RLOO 等组相对估计器优势归零的问题，提出 Policy-Compatible Reinforcement Learning（PICO）。该方法做分布约束的联合解码：专家数据在 token 级引导解码，同时保留学生模型的相对 token 概率，并用动态 top-k 在有限散度预算内约束采样分布，使生成轨迹可验证且与策略兼容，再与 on-policy rollout 以混合行为目标联合优化。作者报告在推理数据集与 agentic 基准上优于标准 RLVR 和此前的 off-policy 基线。

要点速读

1. 论文指出所有 rollout 失败时，组相对估计器（GRPO、RLOO）的优势更新会坍缩为零。
2. PICO 用 token 级专家引导加动态 top-k 的散度预算，构造可验证且策略兼容的轨迹。
3. 作者报告在推理数据集和 agentic 基准上，PICO 优于标准 RLVR 与先前 off-policy 基线。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。