SCOPE：面向智能体强化学习的选择性关键步骤在线自蒸馏

SCOPE 只在关键错误步骤做自蒸馏，提升智能体任务成功率。

资讯摘要

论文提出 SCOPE 框架，用于长程 LLM 智能体的强化学习。该方法在监督预热后让策略分析自身轨迹，生成针对具体步骤的事后技能，并只在选定的错误步骤上蒸馏这些指导；同时用有界带符号的师生系数稳定辅助更新，并用成功相对的成对长度奖励鼓励高效完成任务。作者报告在 ALFWorld 和 WebShop 上，多个模型骨干均有提升。

要点速读

1. 论文提出 SCOPE，仅在选定的错误步骤上做在线自蒸馏，避免轨迹级技能在无关步骤引入偏离目标的蒸馏信号。
2. 作者报告 Qwen2.5-3B 下 ALFWorld 成功率 97.7%、WebShop 85.2%，分别比 SEED 高 5.9 和 6.3 个百分点。
3. 作者报告未见过的 ALFWorld 任务上成功率达 89.6%，比 GRPO 高 23.2 个百分点且交互次数少 46.7%；Qwen3-32B 下已见任务 99.2%、未见任务 94.0%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。