循环式均匀扩散语言模型

循环可显著提升均匀扩散语言模型的训练效率与生成质量。

资讯摘要

论文研究在均匀扩散语言模型（UDLM）中引入选择性循环（在每次去噪步骤内递归复用少量早期 Transformer 层），并保持训练目标与采样器不变。作者报告，循环 UDLM 在 OpenWebText 上以最多 2.8 倍更少训练 FLOPs、在 FineWeb-Edu 上以 3.3 倍更少 FLOPs 达到非循环 UDLM 约 0.5 万亿 token 训练的验证 NLL；在相同 NFE 预算下生成困惑度最多低 9.8%。

要点速读

1. 循环 UDLM 在 OpenWebText 上以最多 2.8 倍更少训练 FLOPs、在 FineWeb-Edu 上以 3.3 倍更少 FLOPs 达到非循环 UDLM 约 0.5 万亿 token 训练的验证 NLL。
2. 在匹配 NFE 预算下，循环 UDLM 的生成困惑度比非循环 UDLM 最多低 9.8%，大部分收益来自中等循环次数。
3. 训练中更频繁采样较小循环次数的分布策略，在下游任务上比均匀循环次数采样少用 12% 循环且不降低准确率。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。