零初始化门控交叉注意力 IGCA

零初始化门控交叉注意力让冻结大模型稳定接入多模态。

资讯摘要

论文提出 Inductively Gated Cross-Attention（IGCA），一种零初始化的交叉注意力桥接结构，使冻结语言模型在初始化时保持原有行为，再逐步引入多模态条件。作者在 Falcon-40B、open_llama_30b 与 Bloom-7b1 的六个解码层中集成该结构，报告初始化时输出差异为 0.00e+00；在 Falcon-40B 上训练 59,500 步后，留出集最佳门控检查点损失为 2.2201，关闭门控的基线为 4.3469。

要点速读

1. IGCA 为零初始化交叉注意力桥接，作者称初始化时是精确的代数空操作，最大输出差异 0.00e+00。
2. 实验在 Falcon-40B、open_llama_30b、Bloom-7b1 的六个解码层中集成，训练使用 40,404,961,288 个可训练适配器参数。
3. Falcon-40B 上训练 59,500 步，训练损失从 3.9403 降至 0.0007；留出集最佳门控检查点损失 2.2201，门控关闭基线 4.3469，降低 48.9%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。