InferSlice在电信广域网上验证SLO驱动LLM推理的并行策略边界。
资讯摘要
论文提出InferSlice，一个面向电信基础设施、以SLO驱动的LLM推理参考架构，整合网络切片、GPU分区、弹性服务与可观测性。该工作由BT牵头，联合布里斯托大学与NVIDIA，在JOINER英国全国广域网上实现，评估了服务分级差异化、弹性扩容、客户端到边缘带宽瓶颈，以及张量、流水线、数据并行和预填充/解码分离在广域网上的可达范围。
要点速读
- InferSlice由BT联合布里斯托大学和NVIDIA提出，在JOINER英国全国广域网上实现并评估。
- 作者报告：在通用电信网络上，服务分级呈现不同的延迟-吞吐区间，权重流式传输可缩短扩容时间。
- 作者报告：复制对放置不敏感但受内存限制；流水线并行可容忍近距和中距跨站跳数，张量并行与分离在超过单子网一跳后失效。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。