论文提出树状索引的次二次注意力方法ZHA
资讯摘要
论文提出ZHA（Zyphra Hierarchical Attention），在KV缓存上构建递归压缩的键摘要树，查询自顶向下遍历以检索稀疏键子集；随树深迭代增长，路由与最终注意力的总成本随序列长度次线性增长，整体呈次二次但超线性扩展。作者报告仅需数十亿token的短KL蒸馏即可用于已有预训练模型，并在长上下文检索及推理、数学、智能体编程评测上保持性能，对深达6层的树结构也较稳健。
要点速读
- 在KV缓存上构建递归压缩的键摘要树，查询自顶向下遍历检索稀疏键子集
- 随树深增长，路由与注意力总成本随序列长度次线性，整体为次二次扩展
- 作者报告仅需数十亿token的KL蒸馏即可适配已有预训练模型，并保持长上下文检索与推理等任务表现
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。