DELA 用四种显式编辑动作让冻结扩散语言模型实现可控草稿精修。
资讯摘要
论文提出 Diffusion Editing Language Adapter（DELA），一个在冻结扩散语言模型上实现草稿级可控精修的插件框架。DELA 以 Insert、Delete、Remask、Stop 四种显式编辑动作操作干净的可变长草稿，由控制器决定何时何地编辑，冻结的 DLM 负责填充掩码区域。为降低任意内部编辑对前缀稳定性和 KV-cache 复用的影响，作者采用两阶段解码：快速仅追加草稿阶段加全局精修阶段，并用分阶段课程训练控制器。
要点速读
- DELA 在冻结 DLM 上以 Insert、Delete、Remask、Stop 四种动作实现草稿级编辑控制，将高层编辑决策与 token 级生成分离。
- 两阶段解码先做支持 KV-cache 复用的仅追加草稿，再做允许非单调编辑的全局精修。
- 控制器采用分阶段课程训练，从合成恢复任务与挖掘动作学习局部编辑先验，再用 rollout 结果偏好和下游任务反馈优化；论文报告在数学推理与代码生成上较直接扩散解码最高提升 5.5 个百分点。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。