AB-Attention：加速视频扩散Transformer的精确块注意力

AB-Attention 无需训练即可高稀疏近似稠密注意力并加速视频生成。

资讯摘要

论文提出 AB-Attention，一种无需训练的方法，旨在高稀疏度下精确近似稠密注意力，以降低视频扩散Transformer中3D全注意力的二次开销。其块内聚类选择器（IBCS）在查询块内聚类以低成本估计块重要性，包含概率加权采样（SIP）按估计比例采样并重加权，内核将小块聚合成张量核心瓦片。作者报告在 Wan2.1 与 HunyuanVideo 上跳过 89–92% 注意力，PSNR 最高提升 4.4 dB，端到端加速最高 2.23 倍。

要点速读

1. 论文提出无需训练的 AB-Attention，用块内聚类选择器与包含概率加权采样近似稠密注意力。
2. 作者报告在 Wan2.1 和 HunyuanVideo 上跳过 89–92% 的注意力计算。
3. 作者报告相对最强基线 PSNR 最高提升 4.4 dB，端到端加速最高 2.23 倍，代码已开源。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:16（北京时间）。