TreeWY：面向门控DeltaNet混合模型的推测验证

TreeWY 去掉 GDN 推测解码的逐位置状态快照，降低内存压力。

资讯摘要

论文提出 TreeWY，用门控 delta 规则上的树结构 WY 变换替代逐草稿位置快照循环状态的做法：一次三角求解算出所有草稿节点输出，提交时只重建被接受的一个状态，改存小型伪值矩阵。作者报告在 Qwen3.5 35B 与 397B 混合模型服务基准中，接受长度基本不变，推测循环状态内存与 KV 缓存压力下降，内存受限处吞吐提升、TTFT 明显降低。

要点速读

1. 现有系统需在每个草稿位置快照 GDN 层的完整循环状态，且快照无法在草稿树分支间共享，宽树难以承受内存开销。
2. TreeWY 基于门控 delta 规则的树结构 WY 变换，单次三角求解计算全部草稿节点输出，提交时仅重建被接受状态。
3. 作者报告在 Qwen3.5 35B 和 397B 上接受长度基本不变，内存受限场景吞吐提升、TTFT 降低，非受限场景有数个百分点开销。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。