论文用异步流映射把预测顺序内化进单步并行生成。
资讯摘要
论文提出异步流映射语言模型(aFMLMs),将预测顺序引入单步并行语言建模:通过逐 token 时间调度控制各 token 的相对去噪进度,形成异步流,并给出其流映射定义与新的流映射蒸馏方法。作者报告模型可在单次前向中生成全部 token,在数独求解与 GSM8K 数学题代码生成上取得新的单步最优表现。
要点速读
- 论文提出 aFMLMs,用逐 token 时间调度编码预测顺序,并支持预设与可学习的状态自适应调度。
- 作者给出异步流映射的有效性说明,并开发新的流映射蒸馏方法,使模型单次前向生成全部 token。
- 在数独求解和 GSM8K 数学应用题代码生成上,作者报告其取得新的单步性能最优结果。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。