预填充阶段减少专家对MoE短答F1的损害定位

MoE预填充减专家主要损害少数关键token的简短作答能力

资讯摘要

论文研究MoE模型在预填充阶段减少路由专家数量对短答案问答的影响。作者在四个MoE系列上通过token、层和注意力路径干预定位损害：专家数减半时F1损失主要体现为答案形式，模型仍能找到答案但不再简短作答。损失集中在少数token上，如Qwen3-30B-A3B答案前的两个聊天模板token、DeepSeek-V2-Lite前8-32个含指令的token；保持这些token全专家可消除大部分F1损失。

要点速读

1. 专家数减半时F1损失主要是答案形式变化，模型仍能找到答案但不再简短作答
2. 损失集中在少数token：Qwen3-30B-A3B答案前两个聊天模板token，DeepSeek-V2-Lite前8-32个指令token
3. 约4% token保持全专家并放在任务接口处，F1与未修改模型相差1分以内；11K token提示下首token时间降约14%

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。