面向长程LLM智能体的多尺度策略优化

MPO将长程智能体RL优化锚定在轮次尺度并细化token信用分配

资讯摘要

论文提出多尺度策略优化（MPO），针对长程LLM智能体按完整助手轮次与环境交互、动作逐token生成的特点，观察到critic价值主要在轮次间变化，因而将优化锚定在轮次层面，并在token间做更细粒度信用分配。方法结合多尺度优势估计（MAE）与轮次级重要性采样，使信用分配与策略更新在轮次尺度上对齐。作者报告在搜索、工具使用和自动化任务上，用4B与30B-A3B模型实验，相较强RL基线取得一致提升。

要点速读

1. 论文观察到长程智能体的critic价值主要在轮次间变化，据此提出轮次锚定的优化思路
2. MPO由多尺度优势估计（MAE）和轮次级重要性采样组成
3. 作者报告在搜索、工具使用、自动化任务及4B、30B-A3B模型上优于强RL基线

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:20（北京时间）。