ReAPO：面向LLM推理的重试感知策略优化

ReAPO通过重试感知信用分配改进GRPO的推理探索效率。

资讯摘要

论文提出ReAPO（Retry-Aware Policy Optimization），从随机最短路径视角处理重试式探索中的信用分配问题，对GRPO做简单修改：为失败轨迹分配额外生成，使成功重试获得强化而不奖励先前失败。作者在Qwen3与OLMo-2（0.6B至4B）及八个数学与科学推理基准上报告，ReAPO首轮表现优于GRPO及近期基线；Qwen3-0.6B上以更少生成token达到GRPO两倍组规模或两倍训练步数的峰值准确率。

要点速读

1. 论文将重试式探索的信用分配建模为随机最短路径，并据此提出对GRPO的简单修改ReAPO。
2. ReAPO为失败轨迹分配额外生成，成功重试可被强化，先前失败不被奖励。
3. 在Qwen3与OLMo-2（0.6B–4B）及八个数学、科学推理基准上，作者报告首轮表现优于GRPO和近期基线；Qwen3-0.6B上分别少用39%和31%生成token达到对比峰值。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。