后训练如何塑造大模型价值偏好

后训练语料观点配比与后训练方法共同决定模型价值偏好。

资讯摘要

论文研究后训练语料中的观点配比如何影响大语言模型的价值偏好。作者用不同观点混合比例的语料，在基于 SFT、DPO 和 GRPO 的五条后训练路径上做受控实验，发现不同路径对观点失衡的放大程度不同；偏好一旦被放大，后续后训练能否消除取决于方法与语料配比。作者还报告，蒸馏时即使语料不含明确观点问题，偏好也会迁移到学生模型。

要点速读

1. 作者用不同观点混合比例的语料和基于 SFT、DPO、GRPO 的五条后训练路径开展受控实验。
2. 不同后训练路径对观点失衡的放大程度不同；偏好被放大后，后续后训练能否消除取决于方法与语料配比。
3. 作者报告价值偏好会迁移到学生模型，即使蒸馏语料不含明确观点问题；代码与数据已公开。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。