MoE剪枝中幸存专家门控缩放的选择影响最大
资讯摘要
论文研究无训练MoE专家剪枝中被忽视的替换算子选择。作者固定剪枝掩码，在OLMoE、DeepSeek-V2-Lite、Moonlight及Granite路由器上比较三类替换算子。结果显示，幸存专家门控缩放影响最大：对未做top-k重归一化的路由器，重归一化会损失0.8–8.5分，并改变重路由与MoNE均值替换的优劣。作者提出低秩映射“tilted novice”，50%剪枝下仅增1.2–1.8%参数，在OLMoE和Moonlight上分别比常数替换高3.45和1.37分。
要点速读
- 固定剪枝掩码后比较三类替换算子，最大影响因素是幸存专家门控缩放；未做top-k重归一化的路由器上，重归一化损失0.8–8.5分。
- 提出闭式低秩映射tilted novice，50%剪枝下增加1.2–1.8%参数，在OLMoE和Moonlight上分别比MoNE常数替换高3.45和1.37分。
- 没有算子全面占优；25%剪枝时MoNE常数保留92–97%多选题准确率，但GSM8K仅5–65%、代码分数0–17%，校准域对掩码影响远大于重采样。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。