ProAS：面向多轮智能体强化学习的进度感知优势塑形框架

ProAS 用进度感知优势塑形改进多轮智能体 RL 的信用分配。

资讯摘要

论文提出 ProAS，一个即插即用框架，用于解决 GRPO 等无评论家算法将轨迹级优势均匀分配给所有动作的信用分配问题。它借助动态演化的 Agentic Reference Graph（ARG），通过 Masking Unreasonable Incentives（MUI）与 Asymmetric Penalty Redistribution（APR）实现细粒度信用分配。作者报告在 Qwen2.5-1.5B-Instruct 与 Qwen2.5-7B-Instruct 上，ALFWorld 成功率峰值达 91.9% 和 94.3%，WebShop 为 66.7% 和 70.8%，训练收敛最多加速 2.44 倍。

要点速读

1. ProAS 通过动态演化的 Agentic Reference Graph 实现细粒度信用分配，包含 MUI 与 APR 两个机制。
2. 作者报告在 ALFWorld 上峰值成功率 91.9%（1.5B）与 94.3%（7B），WebShop 上为 66.7% 与 70.8%。
3. 作者报告训练收敛最多加速 2.44 倍，并对不完美或蒸馏的 ARG 保持鲁棒性；代码已公开。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:15（北京时间）。