偏好优化排序指标变好时，隐藏状态共模偏移可能已埋下生成坍缩隐患
资讯摘要
论文提出偏好优化存在盲区：模型隐藏状态中出现跨token位置、提示及chosen/rejected响应的共模偏移，因同时移动两侧表示，相对排序损失几乎不敏感。该偏移投影到输出层形成“词表井”，抬高单一token概率并主导解码，最终导致生成坍缩。作者报告在17个基座模型谱系中的14个及全参数微调下均出现该坍缩，且偏移在未形成词表井的DPO与SimPO中已存在。
要点速读
- 共模偏移是隐藏状态的共享方向性变化，chosen与rejected表示同步移动，排序损失难以察觉其累积
- 偏移投影到输出层形成词表井，单一token概率被抬高并主导解码，造成生成坍缩
- 作者报告该坍缩在17个基座模型谱系中的14个及全参数微调下出现；偏移在未形成词表井的DPO、SimPO运行中已存在
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。