ConCal复用批次内延续证据校准动作价值，无需额外rollout。
资讯摘要
论文针对长程智能体强化学习中动作信用分配困难的问题，指出GiGPO等方法仅用单条采样延续估计动作价值，导致局部信用易受后续决策影响。作者提出ConCal递归延续价值估计器，利用rollout批次中已有的延续证据，按相同任务访问的入向状态-动作-状态转移进行匹配，将共享延续证据与各访问自身转移估计结合，并反向传播校准值以修正早期动作价值估计，无需额外rollout。作者报告在Qwen2.5-1.5B-Instruct上，ConCal在ALFWorld和WebShop上相较GiGPO成功率分别提升3.39和5.86个百分点。
要点速读
- 论文提出ConCal，通过匹配同一任务访问的入向状态-动作-状态转移，复用rollout批次中已有的延续证据来校准动作价值。
- 作者报告留出回报诊断显示，组内价值差异误差更低，与参考动作排序的一致性高于基于单条延续的估计。
- 在Qwen2.5-1.5B-Instruct上，ConCal相较GiGPO在ALFWorld和WebShop成功率分别提升3.39和5.86个百分点，代码已公开。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。