EDWARD-NMT：弹性维度与自适应路由的MoE翻译模型

论文提出可弹性抽取子网络的MoE翻译架构EDWARD-NMT。

资讯摘要

论文提出EDWARD-NMT，一种面向神经机器翻译的MoE编码器-解码器架构，目标是“一次训练、随处部署”。它结合Matryoshka式弹性维度以降低内存占用、带可学习任务条件阈值的自适应sigmoid路由器让每个token动态决定激活专家数，以及双一致性目标以提升抽取子网络的表现。作者在PhoMT、WMT-14、OPUS-16和多领域De-En基准上报告，满容量架构匹配或超过强MoE基线，抽取的子网络无需重训即优于同规模稠密Transformer。

要点速读

1. 论文提出EDWARD-NMT，用Matryoshka式弹性维度、自适应sigmoid路由器和双一致性目标构建可抽取子网络的MoE翻译架构。
2. 作者报告满容量模型在PhoMT、WMT-14、OPUS-16及多领域De-En基准上匹配或超过强MoE基线，参数效率更好。
3. 作者报告从单一检查点抽取的子网络无需重训即持续优于同规模稠密Transformer。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。