Cord：面向掩码扩散语言模型的置信度锚定顺序残差解码

Cord 用轻量残差策略改进 dLLM 解码顺序，报告成功率明显提升。

资讯摘要

论文提出 Cord，一种轻量、以提示为条件的策略，用于改进掩码扩散语言模型（dLLM）的解码顺序。它保留置信度解码作为稳定参照，并通过生成方向、与已揭示上下文的邻近度及双向填充的几何残差，学习何时偏离该参照。Cord 每次 rollout 只采样一个低维系数矩阵，形成上下文赌博机式训练。作者报告在三个 dLLM 和五个基准上，平均任务成功率由 32.0% 提升至 48.2%，仅增加 0.53M 可训练参数和 5.39% 推理延迟。

要点速读

1. Cord 以置信度解码为参照，学习基于几何残差调整揭示顺序，残差随提示和部分响应变化。
2. 每次 rollout 仅采样一个低维系数矩阵，用序列级奖励训练，无需逐步信用分配或更新骨干网络。
3. 作者报告在三个 dLLM、五个推理/代码/约束满足基准上平均成功率从 32.0% 升至 48.2%，仅增 0.53M 参数与 5.39% 延迟。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。