乐观策略正则化：精英统计奖励塑形

OPR把高回报轨迹转为奖励加成，仅改PPO一行奖励。

资讯摘要

论文提出乐观策略正则化（OPR），把在线策略智能体更新后丢弃的高回报轨迹转化为闭式奖励加成：从排名前四分之一的回合估计精英动作先验，并将该先验与策略动作分布对数比的受限变换加入奖励。作者报告，在49款Atari游戏、1000万步（智能体决策数比2亿帧基线少5倍）的设置下，中位人类归一化分数达148.4%，36/49款游戏高于已发表PPO。论文还给出该方法何时有效的理论分析及在线门控扩展。

要点速读

1. OPR仅需对PPO奖励做一行修改，无需辅助网络、价值门控、离策略校正或对抗循环。
2. 49款Atari游戏、1000万步下中位HNS为148.4%，36/49款高于已发表PPO（p=0.0014）。
3. 论文给出对数比的前向KL解释、优势估计传播分析，并在十款游戏上测试在线门控扩展。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。