双演化强化学习实现自动奖励设计

论文提出DERL，让奖励提议器从内层策略表现中学习。

资讯摘要

论文提出双演化强化学习（DERL）框架，用于自动发现奖励结构：外层提议器由任务原语组合奖励，内层策略用该奖励训练，提议器再依据内层策略的验证表现通过策略梯度学习，从而利用历史试验反馈调整奖励提议分布。作者在ALFWorld、ScienceWorld、GSM8K与MATH上验证，称在多轮智能体基准上优于强基线，在分布外任务上提升明显，数学任务中优于直接叠加原语的outcome reward。

要点速读

1. DERL由外层奖励提议器与内层策略组成，提议器按内层策略验证表现做策略梯度更新。
2. 作者在ALFWorld、ScienceWorld、GSM8K、MATH上验证，报告多轮智能体基准优于强基线。
3. 论文称在分布外任务提升显著，数学任务中直接叠加原语反而有害时DERL仍优于outcome reward。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。