首步偏置恢复扩散模型蒸馏多样性

仅调第一步即可让蒸馏扩散模型多样性提升 48.3%

资讯摘要

论文研究分布匹配蒸馏中学生模型对初始噪声响应趋同的问题，发现多样性损失主要发生在高噪声的第一步。作者提出 ReSeed：仅在第一步加入种子响应偏置适配器，对齐教师模型首段割线速度，学生权重与后续步骤保持冻结。在 SD3-Medium、SD3.5-Medium、FLUX.1-dev 与 Wan2.1-T2V-1.3B 上评估，4 步 FLUX.1-dev 蒸馏模型仅增加 0.00196% 可训练参数，DINO 多样性提升 48.3%。

要点速读

1. 论文定位多样性损失发生在采样轨迹第一步，用教师首步替换可恢复大部分输出多样性
2. ReSeed 只训练第一步的偏置适配器，学生模型其余权重和后续去噪步骤全部冻结
3. 4 步 FLUX.1-dev 上仅增加 0.00196% 可训练参数、用 8000 个提示-噪声对训练，DINO 多样性提升 48.3%

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。