论文用奖励方差估计做正则化，提升对齐稳健性
资讯摘要
论文研究带噪声奖励的策略优化问题，将风险定义为优化后策略劣于参考策略的概率。作者在高斯奖励模型下证明，在参考策略局部邻域内实现最优风险的正则项为奖励协方差矩阵加权的二次范数，并据此提出基于奖励方差估计的正则化策略优化算法。在合成赌博机、大语言模型与奖励模型上的实验显示，该算法比现有方法获得更稳健的对齐结果。
要点速读
- 论文将策略优化风险定义为得到比参考策略更差策略的概率
- 在高斯模型下，最优风险正则项为奖励协方差矩阵加权的二次范数
- 提出基于奖励方差估计的正则化算法，并在合成赌博机、大语言模型和奖励模型上实验
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。