单研究者构建的 Metis-1.6 以更少训练数据接近 Qwen3-4B 水平
资讯摘要
论文介绍 Metis-1.6：由单一研究者从零构建的两个语言模型 Praxis（2.94B 参数，每次前向激活 0.46B）与 Logos（10.23B 参数，激活 1.18B），采用 Mamba-2 与注意力混合的 MoE 堆栈，每个 token 经过两次计算。两者各训练 1.02T token。作者报告 Logos 在 40 项后训练基准上平均 52.93，在对比集中排第 17 名中的第 7，数学表现较强，代码、指令遵循与长上下文较弱。
要点速读
- Praxis 为 2.94B 参数、0.46B 激活；Logos 为 10.23B 参数、1.18B 激活，均采用混合 Mamba-2 与注意力的 MoE 结构，每个 token 计算两遍。
- 训练数据共 1.02T token：804.76B 预训练、18B 上下文扩展至 131,072 token、200B 监督微调。
- 作者报告 Logos 在 40 项基准平均 52.93，数学 AIME 2025 为 67.50%、HMMT February 2026 为 63.64%，但代码、指令遵循和长上下文较弱。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。