双预算下的稀疏文本扩散：上下文连通性与专家激活

论文提出双预算框架分析稀疏文本扩散，并报告 16K 内增益与成本降低。

资讯摘要

论文将长上下文扩散模型的成本拆为两个预算：注意力图可用边数与每 token 激活的专家数，并据此统一分析局部、膨胀与全局注意力及条件专家计算。作者提出归一化掩码注意力，区分去噪深度与采样迭代，并推导图与计算上界。在科学摘要、多跳问答、对话和句对预测任务上分析名为 DualBudget 的稀疏专家配置，保留全部表格测量。

要点速读

1. 论文把 token 交互与专家计算视为两个独立预算，并给出图与计算上界推导。
2. 长度研究显示在 16K 以内相对所列基线有增益，但随长度增加出现可测退化。
3. 消融显示三项报告分数变化不一；成本记录称在未说明的计时约定下较 DiffuSeq 降低 20%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。