扩散语言模型与投机草稿器生成能力对比

无验证对比中 LangFlow 在长序列生成指标上领先投机草稿器架构。

资讯摘要

论文在无验证条件下比较连续扩散语言模型与投机草稿器的独立生成能力：用 LangFlow 代表 CDLM，并改造 DSpark 的马尔可夫头与循环头架构。所有模型从零训练，在 OpenWebText 上做无条件单块生成，长度 16、128、1024，统一预处理、骨干维度与训练预算，用外部语言模型测 GenPPL、用 MAUVE 测分布相似度。默认去噪步数等于序列长度时，LangFlow 在 128 和 1024 长度两项指标均优于 DSpark 两变体，DSpark-RNN 在长度 16 领先。

要点速读

1. 论文用 LangFlow 与改造后的 DSpark 马尔可夫头、循环头架构，在无验证、无目标特征的条件下比较独立生成。
2. 长度 128 和 1024 时 LangFlow 在 GenPPL 与 MAUVE 上均优于 DSpark 两变体，长度 16 时 DSpark-RNN 领先。
3. 循环记忆消除马尔可夫头仅依赖前一 token 的限制并改善两项指标，但长序列差距仍存在；增加 LangFlow 去噪步数可改善 16 和 128 长度指标。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。