RVPO：用方差正则化实现风险敏感对齐

RVPO 用奖励方差惩罚缓解多目标对齐中的瓶颈目标被掩盖问题。

资讯摘要

论文提出 Reward-Variance Policy Optimization（RVPO），指出当前无评论家 RLHF 方法用算术平均聚合多目标奖励，容易让某一目标的高分掩盖安全、格式等瓶颈目标的失败。RVPO 在优势聚合时惩罚奖励间方差，把目标从“最大化总和”改为“最大化一致性”，其 SoftMin 目标可近似为平均奖励减去目标间方差惩罚。作者在最多 17 个奖励信号的医学与科学推理任务（Qwen2.5-3B/7B/14B）及规则约束工具调用任务上评估，报告 HealthBench 上 14B 模型平均分 0.254，对比 GDPO 的 0.207。

要点速读

1. RVPO 在优势聚合阶段惩罚多目标奖励间的方差，将优化目标从最大化奖励总和转向最大化一致性。
2. 作者报告在 HealthBench 上，14B 模型五个训练种子的平均分为 0.254，GDPO 为 0.207。
3. 评估覆盖最多 17 个奖励信号的医学与科学推理，以及基于规则约束的工具调用任务。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。