多路由器MoE在固定专家预算下提升下游任务均值1.18个百分点。
资讯摘要
论文提出Multi-View MoE，用多个独立初始化的路由器聚合sigmoid分数来选择专家，并复用各专家跨路由器的相对分数，将学习到的潜在视图混合进专家输入。作者报告在24层10B-A1B模型、708B token训练下，九任务下游均值较基线提升1.18个百分点，仅Multi-Router即提升0.6个百分点，且不增加激活专家数、专家FLOPs与all-to-all通信量。
要点速读
- 论文指出，单路由器排序与专家效用评估排序在中层和深层一致性较弱。
- Multi-Router聚合多个独立初始化路由器的sigmoid分数，训练中形成差异化的专家偏好。
- 在24层10B-A1B模型上，完整方法使九任务下游均值提升1.18个百分点，Multi-Router单独提升0.6个百分点。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。