论文用冻结权重的幅度掩码干预FFN,在部分Qwen工具调用端点上报告小幅提升。
资讯摘要
论文研究仅对前馈网络激活做幅度重缩放,以乘法坐标掩码替代加性引导向量,提出Amplitude Gating(AG):冻结预训练权重,在六个SwiGLU位置施加基于幅度与熵的掩码,并有Newton-Schulz窗口排序变体。作者在三个Qwen检查点、六个文本/工具端点上报告效果依赖任务:Qwen3.5-9B非NS配置在两个函数调用端点提升2.61/2.67个百分点,静态ToolBench域内/域外提升1.64/2.82个百分点,JSON增益较小。
要点速读
- 方法为仅幅度FFN干预,冻结权重,在六个SwiGLU位置应用幅度/熵掩码,另有Newton-Schulz窗口排序变体。
- 作者报告Qwen3.5-9B非NS配置在两个函数调用端点提升2.61/2.67个百分点,ToolBench域内/域外提升1.64/2.82个百分点,JSON增益较小。
- 得分衡量词法或答案/动作名一致,而非工具实际执行成功;因果机制、等预算优势、重复运行不确定性与服务成本仍需评估。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。