论文提出 BCSM 蒸馏目标,报告单步推理下最高 6 倍 NFE 降低。
资讯摘要
论文提出双向中心分数匹配(BCSM),用于离散扩散模型的少步蒸馏。该方法针对逐 token KL 在激进少步蒸馏下监督不足、完整成对分数匹配复杂度达 O(|V|²) 的问题,构建 O(K) 双向活跃集,将成对比较降至 O(K²) 并分解为 O(K) 目标,同时引入跨时间步转移对齐。作者报告在单步推理下实现最高 6 倍 NFE 降低,HumanEval 相对提升 16.9%,MMMU 相对提升 15.1%。
要点速读
- 论文提出 BCSM,一种位置内蒸馏目标,用 O(K) 双向活跃集把成对比较降到 O(K²) 并分解为 O(K) 复杂度。
- 方法还引入跨时间步转移对齐,用于离散扩散模型的少步蒸馏。
- 作者报告单步推理下最高 6 倍 NFE 降低,HumanEval 相对提升 16.9%,MMMU 相对提升 15.1%。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。