Cola2：连续语义压缩与离散生成协同的分层语言建模

Cola2 用连续语义压缩加扩散解码器做分层语言生成，小模型在部分任务超过 Llama-3-8B。

资讯摘要

论文提出 Cola2 框架，将连续语义压缩与离散文本生成结合：动态切分语义片段，用无辅助损失的负反馈控制压缩率，并以块因果掩码扩散解码器在干净、加噪和丢弃潜变量条件下训练。作者报告在约 2100 亿训练 token 的五个下游任务上验证了设计，3460.3 亿源 token 的未收敛检查点在八项任务上平均 60.10，并在 HellaSwag 和 StoryCloze 上超过 Llama-3-8B。

要点速读

1. Cola2 动态切分文本为语义片段，通过无辅助损失的负反馈控制压缩率，并联合重建与生成监督学习潜表示。
2. 解码器为块因果掩码扩散模型，训练时使用干净、加噪和丢弃三种潜变量条件，推理时按固定片段布局重编码生成文本。
3. 作者报告约 2100 亿 token 的五项下游任务实验，以及 3460.3 亿源 token 未收敛检查点在八项任务平均 60.10、HellaSwag 与 StoryCloze 超过 Llama-3-8B。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。