Loopie：开源循环Transformer系列

开源循环MoE模型Loopie声称同算力下超越vanilla基线

资讯摘要

论文提出开源循环Transformer系列Loopie，包含两个MoE模型：20B参数、2B激活参数，以及6B参数、0.6B激活参数。作者称循环Transformer长期存在同等预训练算力下增加参数量优于循环N次的问题，Loopie针对此设计。消融实验（含与vanilla 30B-A3B对比）显示其在同等算力预算下明显优于基线；作者还报告一种新后训练方法使其具备较强推理能力。

要点速读

1. Loopie系列含20B/2B激活与6B/0.6B激活两个MoE模型
2. 作者称同等算力下Loopie优于vanilla Transformer基线，包括30B-A3B对比
3. 论文提出新后训练方法，作者报告其达到前沿级推理表现

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。