Mix-FT 按采样器实际混合似然微调少步掩码扩散模型，作者报告其优于交叉熵训练。
资讯摘要
论文指出，掩码扩散语言模型以随机顺序少步并行采样时，实际运行的是对揭示计划的混合分布，而交叉熵训练拟合的是 token 条件分布，二者并不一致。作者提出混合似然微调 Mix-FT，在预训练模型自身采样器似然的重要性加权界上微调，无需教师模型，也不改架构与采样器。作者报告在 LLaDA-8B 和公开 110M 参数块扩散模型上，Mix-FT 在多个步数下优于继续交叉熵训练等方法。
要点速读
- Mix-FT 在预训练模型自身采样器似然的重要性加权界上微调，不引入教师模型，也不改动架构或采样器。
- 在 LLaDA-8B 上，作者报告仅用预训练算力 0.002% 的 LoRA 微调，在测试的各步数下续写 OpenWebText 均优于继续交叉熵训练和 Alpha diffusion。
- 在 110M 参数块扩散模型上，Mix-FT 耗时不到 4 个 T4 小时，在每块 4、8、16 步下优于继续交叉熵、Alpha diffusion 与 SDTT 蒸馏。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。