PIVOT：在线教师纠正的渐进式干预

PIVOT 用教师纠正片段加 token 级 KL 监督补足 RLVR 稀疏奖励。

资讯摘要

论文针对可验证奖励强化学习（RLVR）在困难推理任务上反馈稀疏的问题，提出 PIVOT 方法：将教师生成的纠正片段插入学生轨迹，并对这些片段施加 token 级 KL 监督，与 RLVR 目标联合训练。作者报告在困难逻辑游戏和数学推理基准上，PIVOT 稳定优于现有方法，逻辑游戏平均 avg@8 从最佳基线的 19.5% 提升至 35.6%。

要点速读

1. 论文区分轨迹级干预与 token 级监督两种机制，实验显示单独使用任一机制均可能不足，因而将二者结合。
2. PIVOT 在学生 rollout 中插入教师纠正片段，并对该片段做 token 级 KL 监督，同时保留 RLVR 目标。
3. 作者报告逻辑游戏平均 avg@8 由最佳基线 19.5% 提升至 35.6%，并在数学推理基准上优于现有方法。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。