面向LLM推理解码的工作负载静态光电路交换

论文提出按部署静态配置光路以加速LLM解码推理。

资讯摘要

论文提出工作负载静态光电路交换（OCS）：针对给定模型部署与并行方式，解码阶段通信结构固定，因此可在部署时一次性配置光路，并与模型并行及拓扑感知的集合通信调度协同设计，把闲置加速器端口转化为更少通信阶段或更高带宽。作者用图化工作负载模拟器GXNET结合基于硬件测量的解析与flit级网络模型评估：在576加速器规模、服务5T参数MoE模型且上下文达5M token时，全OCS相比4:1超订分组交换网络将交互性提升至多65%、能效提升至多119%。

要点速读

1. 论文观察到LLM推理解码的通信结构在给定部署与并行下固定，据此提出部署时一次性配置的OCS方案。
2. 方案与模型并行、拓扑感知集合通信调度协同设计，利用闲置加速器端口减少通信阶段或提高带宽。
3. 作者报告在576加速器、5T参数MoE、5M token上下文场景下，全OCS较4:1超订分组交换网络交互性提升至多65%、能效提升至多119%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。