论文称更多专家可显著降低多语言扩展的损失惩罚。
资讯摘要
论文研究多语言混合专家模型（MoE）中语言覆盖范围与容量、算力的关系，提出一种考虑重复的联合缩放律，将激活参数量、每语言训练token数、专家数和语言覆盖范围关联起来。作者称该规律基于64个预训练配置的26300条逐语言损失观测拟合，在留出配置上预测误差较最强基线降低28%。在激活参数量和每语言token数相同时，32专家模型将语言从12种扩展到200种带来的损失惩罚较稠密模型降低83%。
要点速读
- 论文提出重复感知的联合缩放律，关联激活参数量、每语言训练token数、专家数与语言覆盖范围。
- 该规律基于64个预训练配置的26300条逐语言损失观测拟合，作者报告留出配置预测误差较最强基线降低28%。
- 在激活参数量和每语言token数匹配时，32专家模型将12种语言扩展到200种的损失惩罚较稠密模型降低83%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。