连续扩散语言模型存在稀有词长尾塌缩，GRAFT 免训练可部分修复。
资讯摘要
论文指出，连续扩散语言模型（如 ELF）并行生成整段序列，中间步骤从不抽取离散词，导致词汇长尾塌缩：常见词频率接近人类文本，最稀有词仅为人均的 0.30 倍，且从 105M 到 652M 参数未见收敛。作者将原因归于每步对候选做平均而非采样。论文提出免训练方法 GRAFT，在模型未定稿时先锁定稀有词再整体重生成；在三个 ELF 规模及 LangFlow 上，稀有词占比从人类速率的 0.42–0.77 倍提升至 0.82–1.10 倍。
要点速读
- 论文测量 ELF 输出：常见词频率几乎与人类文本一致，最稀有词仅 0.30 倍，且 105M 至 652M 参数间差距未缩小。
- 作者将问题归因于连续扩散每步对候选取平均，缺少自回归解码中“抽取一个候选”的步骤。
- GRAFT 为免训练方法：先锁定平均会丢弃的稀有词，再从头重生成；在三个 ELF 规模与 LangFlow 上稀有词占比相对提升 34–109%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。