分层掩码扩散语言模型HMDLM

HMDLM用层级信息引导扩散解码，困惑度与数独准确率均优于扩散基线。

资讯摘要

论文提出分层掩码扩散语言模型（HMDLM），为每个token位置附加层级信息，将生成分为两阶段：先预测掩码位置的层级分布，再据此预测token分布，并为各层级设置独立噪声调度，从而在保持并行解码的同时优先揭示高优先级位置。作者报告在LM1B上困惑度较ADLM降低逾1.5点，WikiHow上较ADLM最多降4.4点、较MDLM最多降7点，数独求解准确率较扩散基线最多提升8.6个百分点。

要点速读

1. HMDLM为每个token位置引入层级标签，所需额外标注为零或极少，并重新推导了前向、反向过程与NELBO。
2. LM1B语言生成任务上，困惑度较ADLM降低超过1.5点；WikiHow上较ADLM最多降4.4点、较MDLM最多降7点。
3. WikiHow上LLM评判更偏好HMDLM生成结果，两种变体合计被偏好频率超过基线的2倍；多步推理数独任务准确率较现有扩散基线最多提升8.6个百分点。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。