Dory1.0-4B：循环归一化GPT模型

4B循环模型靠增加循环次数在多项基准上超过更大模型。

资讯摘要

论文提出Dory1.0-4B，一个40亿参数的循环（潜在递归）语言模型，采用nGPT骨干与滑动窗口/全注意力交错层，推理时可调整循环次数以适配不同算力预算。作者报告其预训练6万亿token，后训练采用SFT与RLVR及难度感知循环课程；两个及以上循环时在12项基准上平均超过Qwen3.5-9B、Gemma 4 12B等更大模型，并开源BF16、MXFP8、NVFP4与GGUF权重。

要点速读

1. 模型为40亿参数循环语言模型，单一检查点支持弹性深度，循环块可重复应用不同次数。
2. 预训练6万亿token，前4.5万亿用NVFP4，后将上下文扩展至256K，再经SFT与RLVR后训练。
3. 作者报告两个及以上循环时在12项基准平均超过Qwen3.5-9B、Gemma 4 12B和Gemma 4 26B-A4B，并开源多种量化检查点。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。