LFPO 用离散速度对齐替代序列似然，对齐扩散语言模型。
资讯摘要
论文提出 Sequence Likelihood-Free Policy Optimization（LFPO），用于对掩码扩散语言模型做强化学习对齐。该方法避开难以计算的序列级似然，把策略对齐表述为离散速度对齐，直接对去噪 logits 做对比式 token 级更新，从而得到稳定、低方差的替代目标；从中间状态预测终解还能隐式拉直生成轨迹，减少去噪迭代次数。作者报告在推理与代码基准上，LFPO 的准确率与基于似然的基线相当或更优，同时显著加速推理。
要点速读
- 论文将 dLLM 的策略对齐表述为离散速度对齐，绕开序列级似然计算。
- LFPO 直接优化去噪 logits，进行对比式 token 级更新，作者称其稳定且低方差。
- 作者报告在推理与代码基准上准确率匹配或超过基于似然的基线，并显著加速推理。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。