生成式奖励模型的缩放规律研究

静态评判准确率高不代表在线优化效果更好。

资讯摘要

论文研究生成式奖励模型（GenRM）作为创意写作策略优化的在线偏好提供者。在 Qwen3 奖励模型 0.6B 至 14B 规模上，用 GRPO 训练的 Thinking 评判器静态 Gold 标签准确率高于 SFT 训练的 Answer-Only 评判器；但在在线 DPO 训练策略时排名常反转，八组匹配设置中七组 Answer-Only 奖励器带来更高峰值与前五平均策略 Elo。中间 Thinking 检查点作奖励器也可优于更晚、静态更准的检查点。

要点速读

1. 在 Qwen3 0.6B–14B 奖励模型上，GRPO 训练的 Thinking 评判器静态 Gold 标签准确率高于 SFT 训练的 Answer-Only 评判器。
2. 在线 DPO 训练策略时排名常反转：固定 32B 学习型 Gold 评估器下，八组匹配设置中七组 Answer-Only 奖励器的峰值与前五平均策略 Elo 更高。
3. 作者报告奖励模型容量（含大于策略的评判器）带来明显收益，并指出固定分布评判准确率不能决定下游优化质量。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。