Kolibri以78.1B总参数、3.46B激活开放权重，主打德语与受监管场景。
资讯摘要
论文介绍Kolibri，一个英德双语混合专家Transformer，总参数78.1B、每token激活3.46B，以Apache 2.0许可开放权重，面向公共管理、工业、航空航天等受监管领域。作者称训练覆盖24T token，德语按字节占比超20%，后训练结合监督微调与超120万内部任务的强化学习。报告称在评估的开放模型中，其英德质量与服务成本位于帕累托前沿。
要点速读
- 总参数78.1B、每token激活3.46B，激活比例4.4%，以Apache 2.0开放权重发布。
- 训练覆盖24T token，德语按字节占数据混合超20%，含自建流程从网页整理及合成的超2T德语token。
- 后训练为监督微调加强化学习，任务超120万，覆盖推理、工具使用、指令遵循、代码与检索。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。