分层 KV 共享架构 DepthGraft 在 16B MoE 上使 MMLU-Pro 绝对提升 7.0%。
资讯摘要
论文提出 DepthGraft，一种分层 KV 共享架构，用步长对齐的浅层与中层 KV 对重建深层 KV，使非局部梯度流分散到各源层，同时保留 prefill 提前完成特性并将 KV 缓存减少约三分之一。作者在 0.5B 至 16B 的稠密与 MoE 模型上实验，报告在 GQA 与 MLA 下均有下游提升；16B MoE 模型上 MMLU-Pro 绝对提升 7.0%，CMMLU 提升 6.6%，C3 提升 6.4%。
要点速读
- 论文分析跨层 KV 共享的隐式结构正则化作用：合适的共享拓扑可锐化 key 检索方向并丰富 value 内容子空间。
- DepthGraft 从步长对齐的浅层-中层源对重建深层 KV，保留 prefill 提前完成并减少约三分之一 KV 缓存。
- 作者报告 0.5B–16B 稠密与 MoE 模型在 GQA、MLA 下下游任务一致提升，16B MoE 上 MMLU-Pro 绝对提升 7.0%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。