Li²SAO：用组相对演员-评论家自举提升轻量单轨迹异步RL

Li²SAO用组相对自举弥补轻量SAO早期训练短板。

资讯摘要

论文分析GRPO与轻量复现SAO的LiSAO在单轮推理和多轮智能体任务上的表现：GRPO在推理任务上更优，LiSAO在智能体任务上更优，但LiSAO因价值模型训练不足在训练早期明显落后。作者提出Li²SAO，在评论家冷启动阶段用组相对优势训练演员、用组中心回报训练评论家，随后切换为单轨迹GAE。作者报告其在训练早期追平或超过GRPO，并抬高后期性能上限，代码已公开。

要点速读

1. 论文发现GRPO在推理任务上优于LiSAO，LiSAO在智能体任务上占优，但早期训练落后GRPO较多。
2. Li²SAO在评论家冷启动时用组相对优势训练演员、组中心回报训练评论家，之后切换为单轨迹GAE。
3. 作者报告Li²SAO早期追平或超过GRPO，并提升后期性能上限，代码已在GitHub发布。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。