论文称连续扩散语言模型经似然训练后可具备与离散扩散相当的缩放性。
资讯摘要
论文重新审视基于似然的连续扩散语言模型 Plaid，将其架构对齐现代离散扩散模型后构建 RePlaid，并首次给出可与离散扩散相比的连续扩散缩放律。作者报告 RePlaid 与自回归模型的计算差距仅 20 倍，参数更少时优于 Duo，在过训练区间优于 MDLM；在 OpenWebText 上取得连续扩散模型中 22.1 的 PPL 界。论文还从理论上解释基于似然训练的优势。
要点速读
- 论文构建 RePlaid，将 Plaid 架构与现代离散扩散语言模型对齐，并建立连续扩散语言模型的首个缩放律。
- 作者报告 RePlaid 相对自回归模型的计算差距为 20 倍，参数少于 Duo 时表现更优，并在过训练区间优于 MDLM。
- 在 OpenWebText 上，RePlaid 取得连续扩散模型中 22.1 的 PPL 界，生成质量更优；论文还从理论上解释基于似然训练的优势。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。