AEM：面向多轮智能体强化学习的自适应熵调制

AEM 用响应级熵调制替代密集监督，提升多轮智能体 RL 表现。

资讯摘要

论文提出 AEM，一种无需额外监督的信用分配方法，用于多轮智能体强化学习。作者将熵动态从 token 级提升到响应级，以匹配智能体的有效动作粒度，并据此构造响应级不确定性代理来缩放优势值，使训练从探索自然过渡到利用。在 ALFWorld、WebShop 和 SWE-bench-Verified 上，1.5B 至 32B 模型均较强基线提升，接入某软件工程 RL 框架后提升 1.4%。

要点速读

1. AEM 不引入过程奖励模型或辅助自监督信号，仅通过调制熵动态完成信用分配。
2. 作者分析自然梯度更新下的熵漂移，并据此构造响应级不确定性代理来缩放优势值。
3. 在 ALFWorld、WebShop、SWE-bench-Verified 上，1.5B 至 32B 模型均优于强 RL 基线，接入某软件工程 RL 框架后提升 1.4%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。