论文从参数耦合角度解释掩码扩散模型缓解反转诅咒。
资讯摘要
论文针对掩码扩散语言模型（MDM）比自回归模型更少出现反转诅咒的现象给出理论分析。作者认为，原因在于共享 Transformer 参数在正向与反向位置条件之间形成参数级耦合：参数存储词对证据，相对位置编码只改变注意力路由，不改变被检索的值侧证据。论文在一层 MDM 中证明，正向掩码训练会强化可复用于反向查询的证据，并产生正对齐的共享存储梯度分量，使反向损失一阶下降。
要点速读
- 论文指出，常见的“任意顺序掩码训练目标”解释不足以说明证据为何能迁移到反向提示。
- 在一层 MDM 中证明正向掩码训练强化可复用证据、诱导正反向注意力路由相关，并降低反向损失。
- 受控单层实验与 LLaDA/Dream 大规模实验验证上述特征，并显示反向预测改善。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。