1.78B 的 Mimir 仅用合规数据训练，作者称其多项基准超过更大模型。
资讯摘要
论文提出 Mimir，一个 1.78B 参数的语言模型，基于 HRM-Text 架构，将层分为低层（L）与高层（H）堆栈并交错重复执行。它从随机初始化开始，直接在 161 个数据集的合规混合数据上训练，v1 每轮 70.5B token，续训版 v1.5 每轮 103B token。作者报告 v1.5 在英语、丹麦语及数学与代码共 20 项基准上取得 sub-2B 模型最高平均分，英语和丹麦语平均分达到或超过部分至 9B 参数模型。
要点速读
- Mimir 为 1.78B 参数、基于 HRM-Text 的循环深度 Transformer，L/H 堆栈交错重复执行。
- 训练数据为 161 个数据集的合规混合，v1 每轮 70.5B token，v1.5 每轮 103B token，不合规来源用合成数据替换。
- 作者报告 v1.5 在 20 项基准的英语、丹麦语、数学与代码各领域均为 sub-2B 最高均分，并称英语和丹麦语均分达到或超过 Qwen 3.5 9B、Gemma 4 E4B 等至 9B 模型。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。