动态短卷积提升Transformer性能

论文提出动态短卷积原语，报告语言建模约1.33至1.60倍算力优势。

资讯摘要

一篇论文提出将动态短卷积作为Transformer的额外神经原语：与静态短卷积不同，它使用依赖输入的滤波器，在保留卷积局部性偏置的同时提升表达能力。作者报告，在150M至2B参数的语言建模实验中，该方法稳定优于标准Transformer和加静态短卷积的Transformer；拟合缩放律显示，作用于key、query、value向量时约有1.33倍算力优势，在每个线性层后加入时约1.60倍。论文还称其在Mamba-2/Gated DeltaNet等线性RNN和混合专家架构上有改进，并提供Triton内核支持训练。

要点速读

1. 动态短卷积使用输入相关滤波器，保留卷积局部性偏置并增加表达力。
2. 150M至2B参数语言建模实验中，作者报告其优于标准Transformer及静态短卷积变体。
3. 拟合缩放律显示约1.33倍（用于key/query/value）和1.60倍（每个线性层后加入）的算力优势，并配套Triton内核。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。