SGR-OPSD 用子目标计划与进度图校准智能体强化学习信用分配。
资讯摘要
论文提出 SGR-OPSD 框架，将 LLM 生成的子目标计划与交互证据结合，用于智能体强化学习的轮级信用分配：子目标计划经约束的 KL 正则目标转为优势权重，并构建 Subgoal Progress Graph 以采样转移频率估计经验回报，校准教师权重。作者报告在 ALFWorld、WebShop、Search-QA 上，Qwen2.5-3B 与 7B 两个规模均优于 GRPO 和自蒸馏基线，ALFWorld 成功率最高提升 7.4 个百分点、达 85.8%。
要点速读
- 论文提出 SGR-OPSD，用 LLM 生成的子目标计划提供动作级密集指导，并通过约束的 KL 正则目标转换为优势权重。
- 构建 Subgoal Progress Graph，以采样转移频率估计经验回报，并据此校准教师信用权重。
- 作者报告在 ALFWorld、WebShop、Search-QA 上，Qwen2.5-3B 和 7B 均优于 GRPO 与自蒸馏基线，ALFWorld 成功率较 GRPO 最高提升 7.4 个百分点、达 85.8%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。