研究揭示单对生成器偏好数据存在系统性偏差

单对模型生成偏好数据会引入系统性偏差，削弱 DPO 效果。

资讯摘要

论文考察 delta-learning 假设的局限：仅用一对模型生成偏好数据时，固定模型对会引入与回复质量无关、可预测偏好标签的生成器相关偏差。作者从理论和实验两方面说明，单对数据训练的 DPO 持续弱于多模型偏好数据，并将差距归因于类似 reward hacking 的训练动态；增加生成器数量即使无外部评判也能部分缓解。

要点速读

1. 论文指出固定模型对带来系统性、依赖生成器的偏差，该偏差可独立于回复质量预测偏好标签。
2. 单对数据训练的 DPO 表现持续低于多模型偏好数据，作者将其追溯到与 reward hacking 一致的训练动态。
3. 仅增加生成器数量、不引入外部 LLM 评判，即可部分缓解该效应。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。