GatedV：仅对V施加SiLU的注意力变体

仅对V加SiLU即可小幅降低语言模型困惑度

资讯摘要

论文提出GatedV，一种不增加可训练参数的注意力变体，仅在聚合前对V矩阵施加SiLU非线性。作者在参数匹配、配对初始化与相同训练token预算下与标准解码器Transformer对比：2.33M参数时平均留出困惑度由59.1降至57.9（2.0%），五个配对种子均有改善；26.16M参数时经等预算学习率搜索，困惑度由20.2降至19.7（2.4%），三个配对种子均有改善。

要点速读

1. GatedV仅对V施加SiLU，不引入额外可训练参数，也不改动注意力权重机制
2. 2.33M参数下困惑度从59.1降至57.9（2.0%），五个配对种子全部改善
3. 26.16M参数下困惑度从20.2降至19.7（2.4%），三个配对种子全部改善；DGX Spark上全上下文前向延迟约高0.7%

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。