Nemotron 3.5 Super 与 Lightning：面向智能体的开源高效 MoE 混合 Mamba-Transformer 模型

开源 MoE 混合 Mamba-Transformer 模型 Nemotron 3.5 系列发布

资讯摘要

论文提出 Nemotron 3.5 Super 与 Lightning 两款开源混合 Mamba-Transformer 的 MoE 模型，面向推理、长上下文与智能体负载。Super 为 120B 参数、12B 激活的多模态模型，Lightning 为 30B 参数、3B 激活的文本模型。作者报告 Super 在 SWE-bench Pro 上达 51.78%，并给出 Indic 预训练、投机解码与 NVFP4 量化等效率结果。

要点速读

1. Super 为 120B 参数、12B 激活的多模态模型，Lightning 为 30B 参数、3B 激活的文本模型，均采用 MoE 混合 Mamba-Transformer 架构。
2. 作者报告后训练后的 Super 在 SWE-bench Pro 上达 51.78%，激活参数约为 Nemotron 3 Ultra 的 1/4.6。
3. Indic 继续预训练使印度语基准最多提升 9.82 个百分点；NVFP4 量化相对 BF16 中位精度恢复 99.62%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。