单GPU大模型推理的预算感知压缩流水线

论文用预算感知流水线把70B模型压到约33GB并在单张A40上运行。

资讯摘要

论文将单GPU推理视为内存、长上下文吞吐与工程集成成本三方面的预算约束设计问题，研究剪枝、量化与KV缓存压缩在真实执行下的相互作用。受控消融显示逐层剪枝使权重量化更稳健，KV缓存稀疏化与INT8 KV量化互补，而静态向量量化器常与动态缓存冲突。作者据此组装流水线，将70B模型压缩至约33GB，在单张A40、10k token提示下约57 tokens/s，常见与推理基准绝对精度损失在5%以内。

要点速读

1. 论文报告逐层剪枝可提升权重量化的稳健性，KV缓存稀疏化与INT8 KV量化互补，静态向量量化器常与动态缓存冲突。
2. 作者将70B模型压缩至约33GB，在单张A40、10k token提示下维持约57 tokens/s。
3. 常见与推理基准上绝对精度损失保持在5%以内，并提出联合报告质量、内存与端到端速度的评估协议。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。