SERF：自正则化流式语言模型

SERF 用噪声到干净自蒸馏提升连续扩散语言模型训练与生成。

资讯摘要

论文提出 SERF，一种利用去噪轨迹本身的自监督框架，用于改进连续扩散语言模型。它采用噪声到干净的自蒸馏：EMA 教师接收学生噪声输入的更干净版本并提供额外监督，含 SERF-L 与 SERF-P 两个变体，均不依赖外部预训练模型、不改变推理流程。作者报告在三种连续语言模型范式上提升训练效率与生成质量。

要点速读

1. SERF 通过 EMA 教师沿同一插值路径接收更干净的输入，对学生做噪声到干净的自蒸馏，作为标准训练目标的补充。
2. SERF-L 对齐学生中间表示与更深层教师表示，SERF-P 对齐输出 token 分布，可在学生输出层或较早层进行。
3. 作者报告在 OpenWebText 上最高 7.7 倍实际训练加速，MAUVE 提升 24.3%，GSM8K 准确率最高提升 28.8%，采样步数最多减少 64 倍仍匹配基线。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。