ACCT 可将源模型 KV 缓存转为目标模型稀疏 KV 复用。
资讯摘要
论文提出 ACCT（Asymmetric Cross-LLM Context Transfer），针对同一模型家族内不同规模模型之间的 KV 缓存迁移。ACCT 将源模型生成的 KV 缓存转换为目标模型可直接使用的稀疏 KV 状态，使上下文计算与下游推理解耦。方法包含 Cartographer、Allocator 和 Compiler 三个轻量组件。作者报告在五个通用能力基准和六个强上下文依赖任务上，KV 缓存缩减 75% 时性能仍匹配或超过目标模型原始推理；约 19K token 上下文下，KV 转换相对目标模型上下文预填充加速 6.5–21.2 倍。
要点速读
- ACCT 面向同一模型家族内不同规模模型间的 KV 缓存迁移，将源模型 KV 转为目标模型可消费的稀疏 KV。
- 方法由 Cartographer、Allocator、Compiler 三个轻量组件组成，分别负责定位相关 token、分配 KV 预算和转换 KV。
- 作者报告在 KV 缓存缩减 75% 时性能匹配或超过目标模型原始推理，约 19K token 下转换较预填充加速 6.5–21.2 倍。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。