回到最新动态
研究论文 / THE SIGNAL

ALLOT:视频扩散Transformer的免训练块稀疏注意力分配

Sparsity Should Be ALLOTted by Output: Training-Free Allocation of Block-Sparse Attention for Video Diffusion Transformers

重要性 5.5 AI 辅助整理

免训练方法ALLOT按层与去噪步分配块稀疏注意力,作者报告视频质量提升。

资讯摘要

论文关注视频扩散Transformer中全3D注意力开销大的问题,提出免训练稀疏分配方法ALLOT。作者观察到不同层与去噪步对最终视频保真度的影响差异显著,但最敏感的层-步组合在不同输入间基本不变。ALLOT将每个层-步对视为单元,通过单元探测与轨迹校准估计其对最终视频误差的贡献,并在实测延迟预算下联合优化各单元密度,仅替换分配环节。作者报告在HunyuanVideo上以XAttention取得11.8 dB PSNR提升。

要点速读

  1. 论文提出ALLOT,将层-步对作为单元,用单元探测和轨迹校准估计其对最终视频误差的贡献,再在实测延迟预算下联合优化密度。
  2. 方法免训练,保留现有选择策略与内核,只替换稀疏分配组件。
  3. 作者报告在相同时长或更短的实际耗时下,ALLOT优于所有对比分配策略,在HunyuanVideo上PSNR提升11.8 dB;在Wan2.1、Wan2.2和HunyuanVideo的四个已发布管线共九种设置中优于或持平默认方案。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:10(北京时间)。

阅读 Daily Papers 原文arxiv.org · 在新窗口打开