奖励模型分数比人类评分更按提示聚集，成对评估测不出这一点。
资讯摘要
论文指出，成对评估只比较同一提示下的两个回答，因此提示内共享的分数成分会被抵消而无法检验。作者提出一种以人类评分为参照的审计方法，结合提示间方差占比、同组评分回归和提示替换，对18个已发布评分器及6组匹配训练条件进行测试。在HelpSteer2上，六个奖励模型的提示间方差占比为0.34至0.64，而人类评分接近零。
要点速读
- 论文提出以人类评分为参照的审计，用提示间方差占比、同组评分回归和提示替换检验评分器。
- 在HelpSteer2上，六个奖励模型的提示间方差占比为0.34至0.64，人类评分占比接近零。
- 用固定指令替换原提示后，分数仍明显按提示聚集，但与提示级人类评分的一致性减弱。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。