CacheBridge 用跨模型 KV 传输降低多模型服务的首字延迟。
资讯摘要
论文提出 CacheBridge，一个面向异构多模型 LLM 服务的系统，通过跨模型 KV 传输替代目标模型对历史内容的重新预填充。作者报告在 τ-bench 的 Qwen3 14B→32B 智能体服务中，1 至 24 QPS 下平均 TTFT 较重新预填充降低 30% 至 98%，任务成功率相当；在三个模型家族的五个模型对上，映射器内存比 Closed-Form Mapper 少 8 至 12 倍，聊天/推理与 RAG 任务质量分别平均保留 97.94% 和 102.94%。
要点速读
- 论文提出 CacheBridge，用跨模型 KV 传输加速多模型 LLM 服务，避免切换模型时重复预填充历史。
- 在 τ-bench 的 Qwen3 14B→32B 智能体服务中，作者报告 1 至 24 QPS 下平均 TTFT 降低 30% 至 98%，任务成功率相当。
- 在三个模型家族的五个模型对上，映射器内存比 Closed-Form Mapper 少 8 至 12 倍，聊天/推理与 RAG 任务质量分别平均保留 97.94% 和 102.94%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。