论文提出 ENPO 系列方法，消除迭代 NLHF 的指数依赖。
资讯摘要
论文研究在线迭代式纳什学习人类反馈（NLHF），指出标准迭代 NLHF 的遗憾可能随逆 KL 正则参数呈指数依赖，说明仅靠策略更新带来的隐式探索不足。作者提出 ENPO，将 SFT 类正则与对抗式策略探索结合，消除该指数依赖且无需极小极大 oracle 或显式偏好模型估计；并给出 BENPO（O(log T) 遗憾界）与实用变体 DENPO。作者报告在 Llama-3-8B-Instruct 上多个基准优于所评估的 RLHF 与 NLHF 基线。
要点速读
- 论文指出标准迭代 NLHF 的遗憾可能对逆 KL 正则参数呈指数依赖，隐式探索不足。
- ENPO 结合 SFT 类正则与对抗策略探索，无需极小极大 oracle 或显式偏好模型估计。
- 作者报告 DENPO 在 Llama-3-8B-Instruct 上多个基准优于所评估的 RLHF 与 NLHF 基线。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。