扩散训练加速或源于残差门控路径重组
资讯摘要
论文重新审视 REPA 与分散正则化等扩散 Transformer 训练加速方法，发现这些方法会显著重组 AdaLN-Zero 残差门 α，即控制条件更新进入残差流的门控。作者据此提出，加速至少部分源于残差门控路径重塑，而非仅来自辅助目标施加的特征结构。论文引入归一化参与率 nPR 刻画门控的通道组织，并据此提出无需教师的径向目标。
要点速读
- 加速模型对 α 扰动更敏感，门控几何反映类别语义关系
- 在 REPA 教师、投影器架构与径向目标上，门参与更广伴随更好生成质量
- 在 ImageNet 256×256 的 SiT-B/2 上，所提方法 FID 优于分散损失，并提升跨时间步与类别的平均门参与
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:25（北京时间）。