ARK：为分离式LLM推理的KV缓存传输规避路由冲突

ARK用发送端源端口协调规避KV缓存传输的路由冲突。

资讯摘要

论文提出ARK，一种面向分离式LLM推理中KV缓存传输的分布式大象流路径预留机制。作者指出，prefill与decode分离会产生持续数百毫秒至数秒的KV缓存传输，这类长流在无状态ECMP下易发生哈希冲突，导致部分spine链路过载。ARK通过协调发送端选择源端口，使并发流的哈希映射到不同spine，无需改动交换机或接收端重排包。作者报告的包级RDMA模拟显示，中等负载下平均与P95 FCT最多降低27.3%和34.0%，平均TTFT最多降低12.9%。

要点速读

1. 论文关注分离式LLM推理中KV缓存传输作为长时大象流引发的ECMP哈希冲突问题。
2. ARK通过发送端源端口选择协调并发流映射到不同spine，不依赖交换机改动或接收端重排包。
3. 作者报告的包级RDMA模拟结果：中等负载下平均和P95 FCT最多降低27.3%和34.0%，平均TTFT最多降低12.9%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。