AnytimeReasoner：按预算优化推理的BRPO框架

论文提出按token预算优化推理的BRPO方法，报告优于GRPO。

资讯摘要

论文提出AnytimeReasoner框架，用于优化大模型在不同token预算下的推理表现。方法将完整思考过程截断至从先验分布采样的预算内，迫使模型为每段截断思考总结答案以供验证，从而引入可验证的稠密奖励，改善强化学习中的信用分配；并以解耦方式优化思考与总结策略。作者还提出方差缩减技术Budget Relative Policy Optimization（BRPO）。作者报告在数学推理任务上，该方法在各思考预算下均优于GRPO，并提升训练与token效率。

要点速读

1. 将思考过程截断到采样token预算内，要求模型对截断思考总结答案以获取可验证稠密奖励
2. 解耦优化思考策略与总结策略，并提出方差缩减方法BRPO
3. 作者报告数学推理任务中在各预算下均优于GRPO，提升训练与token效率

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。