论文发现后训练会标准化回复，并提出CAP偏好数据。
资讯摘要
论文考察聊天模型在SFT、DPO和强化学习各后训练阶段是否倾向匹配用户方言，发现后训练会把回复标准化，但DPO更新在10个开源模型谱系上仍更偏好匹配英式和澳式拼写，而非AAE和Singlish。作者提出校准适配偏好对CAP，在完全开源模型上提升对未训练特征的收敛，且未明显增加标准英语用户的方言或损害指令遵循。
要点速读
- 论文追踪SFT、DPO与强化学习各阶段对模型匹配用户方言倾向的影响，覆盖10个开源模型谱系。
- 作者报告DPO更新仍更偏好匹配英式和澳式拼写，而非AAE和Singlish，但模型被要求时仍能产出AAE特征。
- 论文提出CAP偏好数据，在完全开源模型上提升未训练特征的收敛，且未检测到标准英语用户方言增加或指令遵循下降。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:10（北京时间）。