回到最新动态
研究论文 / THE SIGNAL

离散扩散蒸馏的双向中心分数匹配

Bidirectional Centered Score Matching for Discrete Diffusion Distillation

重要性 5.5 AI 辅助整理

论文提出 BCSM 蒸馏目标,报告单步推理下最高 6 倍 NFE 降低。

资讯摘要

论文提出双向中心分数匹配(BCSM),用于离散扩散模型的少步蒸馏。该方法针对逐 token KL 在激进少步蒸馏下监督不足、完整成对分数匹配复杂度达 O(|V|²) 的问题,构建 O(K) 双向活跃集,将成对比较降至 O(K²) 并分解为 O(K) 目标,同时引入跨时间步转移对齐。作者报告在单步推理下实现最高 6 倍 NFE 降低,HumanEval 相对提升 16.9%,MMMU 相对提升 15.1%。

要点速读

  1. 论文提出 BCSM,一种位置内蒸馏目标,用 O(K) 双向活跃集把成对比较降到 O(K²) 并分解为 O(K) 复杂度。
  2. 方法还引入跨时间步转移对齐,用于离散扩散模型的少步蒸馏。
  3. 作者报告单步推理下最高 6 倍 NFE 降低,HumanEval 相对提升 16.9%,MMMU 相对提升 15.1%。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开