EpiLoRA把LoRA适配器计算融入低精度GEMM的epilogue，降低解码延迟。
资讯摘要
论文提出EpiLoRA，一种vLLM插件，把LoRA的下投影提前启动、低精度GEMM作为依赖内核流式加载权重，并在其epilogue中累加各租户的上投影。作者报告在NVIDIA Hopper GPU上，单适配器解码每token时间较vLLM最快配置最多降低24%，并快于SGLang和TensorRT-LLM；多租户场景下多数GPU-模型组合的适配器内核吞吐高于vLLM。同一FP8基座还可用于LoRA强化学习训练，27B模型可在单张48GB GPU上训练。
要点速读
- EpiLoRA是vLLM插件，将下投影先启动、低精度GEMM作为依赖内核流式加载权重，并在epilogue中累加各租户上投影。
- 作者报告在Hopper GPU上单适配器解码每token时间较vLLM最快配置最多降低24%，且快于SGLang和TensorRT-LLM。
- 作者报告多租户下适配器内核在多数测试GPU-模型组合上吞吐高于vLLM；基于引擎FP8权重的LoRA RL训练器无需16位副本，27B模型可在单张48GB GPU上训练。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。