论文提出双重稳健偏好优化算法，降低 RLHF 对模型设定偏差的敏感。
资讯摘要
论文研究用于大语言模型人类偏好对齐的 RLHF，指出许多算法对偏好模型（如 Bradley-Terry 模型）、参考策略或奖励函数的设定偏差高度敏感，可能导致不理想的微调结果。为此，作者提出双重稳健偏好优化算法：只要偏好模型或参考策略其中之一设定正确，算法即可保持一致性，无需两者同时正确。论文称该算法在理论与实践中均优于现有先进算法，并已公开代码。
要点速读
- 论文指出 RLHF 算法对偏好模型、参考策略或奖励函数的设定偏差敏感，易导致不理想的微调。
- 作者提出双重稳健偏好优化算法，在偏好模型或参考策略任一正确设定时保持一致性。
- 论文报告该算法在理论和实践中均优于现有先进算法，代码已在 GitHub 公开。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。