论文提出无训练长度外推方法 RangeSWA，缓解扩散语言模型长文本退化。
资讯摘要
论文提出 RangeSWA，一种面向连续扩散语言模型的无训练长度外推方法，用于缓解生成长度超过训练长度时出现的文本重复、语义漂移与质量下降。方法结合局部滑动窗口注意力、远端块摘要和动态内容检索，以保留局部细节并支持长程上下文访问；同时通过位置重映射、条件注意力校正和去噪阶段自适应窗口调度减轻外推导致的退化。作者报告在多个连续扩散语言模型上的实验显示，该方法可降低长文本生成的生成困惑度和文本重复率。
要点速读
- 论文提出无训练长度外推方法 RangeSWA，针对连续扩散语言模型超出训练长度生成时的重复、语义漂移与质量下降问题。
- 方法组合局部滑动窗口注意力、远端块摘要与动态内容检索，并采用位置重映射、条件注意力校正和去噪阶段自适应窗口调度。
- 作者报告在多个连续扩散语言模型上，RangeSWA 可降低长文本生成的生成困惑度和文本重复率。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。