分层连续扩散语言模型 H-CDLM 提出

分层多粒度扩散让连续扩散语言模型在多个基准上取得提升。

资讯摘要

论文提出分层连续扩散语言模型（H-CDLM），在连续扩散语言模型中并行扩散不同语义粒度的模态，即 token 本身与预训练 token 嵌入聚类得到的粗粒度簇，并允许各模态使用独立采样器与调度。应用于 CoBit 得到 H-CoBit，作者报告在 LM1B 上 GenPPL 为 49.4、OWT 上为 50.4，GSM8K 准确率 27.4%，并称该框架在 FLM 上同样有效。

要点速读

1. H-CDLM 并行扩散 token 与预训练 token 嵌入聚类得到的粗粒度簇两种模态，支持按模态设置采样器与调度。
2. H-CoBit 在 LM1B 上 GenPPL 为 49.4、OWT 上为 50.4，作者称较基线分别改善 24.2 和 20.7 点。
3. GSM8K 准确率达 27.4%，作者称优于此前的连续扩散与流匹配模型；代码将公开。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。