BYOD：仅用LoRA将自回归模型转为扩散语言模型

仅用LoRA即可把多个开源模型转为扩散语言模型

资讯摘要

论文提出BYOD，一种仅用LoRA、无需架构改动的自回归到扩散语言模型转换方法。作者报告在Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B和Ministral 8B上完成转换，适配器占最终参数4.1%–5.8%，基座参数全部冻结，单次转换最多用1.024亿token、单张Colab GPU耗时3.1–4.0小时。九任务评测中BYOD-Gemma平均准确率50.6%，低于LLaDA 8B Instruct的51.9%；低NFE下生成质量仍是主要短板。

要点速读

1. BYOD仅训练LoRA适配器完成AR到DLM转换，四个模型均能从全掩码序列生成并保留较多父模型知识。
2. 作者报告这是首个Mistral模型的AR-to-DLM转换；BYOD-Gemma九任务平均准确率50.6%，LLaDA 8B Instruct为51.9%。
3. 低NFE预算下生成质量有限：128 token、64步时BYOD困惑度8.3–11.1，LLaDA为4.1，AR父模型为2.2–3.0。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。