WAKMan 按实时流量自适应选择 KV 缓存淘汰策略，平均命中率超 LRU 5 个百分点。
资讯摘要
论文指出，前缀缓存中 KV 缓存的淘汰策略对整体收益起决定作用，而生产流量混合了单轮、多轮和 agentic 请求，不同负载下最优策略不同：在 agentic 为主的混合负载中，vLLM 默认的 LRU 命中率比面向频率的 S3FIFO 高 12%，在其他场景则落后最多 22%。作者提出 WAKMan，无需知道请求类型或读取提示内容，即可根据实时流量选择淘汰策略，平均命中率比 LRU 高 5 个百分点。
要点速读
- 论文发现 agentic 步骤在数秒内返回、偏好新近性，热门提示与长对话则偏好频率，20 种混合负载下没有单一最优策略。
- 在 agentic 为主的混合负载中，LRU 的缓存命中率比 S3FIFO 高 12%，在其他场景则落后最多 22%。
- WAKMan 依据实时流量选择淘汰策略，作者报告其平均命中率比 LRU 高 5 个百分点，且平均与最坏情况最优性差距最小。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。