RPS-Serve：面向多模态大模型推理的模态感知调度

RPS-Serve 用模态分级调度提升多模态推理 GPU 利用率与响应速度。

资讯摘要

论文提出 RPS-Serve 多模态大模型推理调度框架，将视频、图像、文本分别类比为岩石、卵石和沙子，按 GPU 准入成本分类并采用带老化的优先级调度，让轻量文本请求快速通过。作者报告在多种先进 MLLM 上，相比基于解耦的多模态服务系统，GPU 利用率提升 65%，TTFT 最多降低 9.3 倍。

要点速读

1. 论文指出多模态请求在延迟和显存占用上差异巨大，现有面向同质文本负载的服务系统易出现队头阻塞。
2. RPS-Serve 通过轻量聚类将请求分为岩石（视频）、卵石（图像）、沙子（文本），并估计每个请求的 GPU 准入成本。
3. 作者报告 GPU 利用率提升 65%，TTFT 最多降低 9.3 倍，平均跨模型对比解耦式多模态系统。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。