中型开源LLM量化部署：提速与精度数据零散

中型开源LLM量化提速数据零散，大批量下4位增益消失。

资讯摘要

论文梳理了9B–20B开源权重模型在vLLM或SGLang上量化部署的公开测量数据，发现速度与精度两项指标往往只被零散报告：仅两个Gemma 3 12B的INT4版本同时有vLLM计时和精度分数，且精度只覆盖AWQ校准过的单一MMLU科目。作者指出，小批量解码受内存带宽限制，4位权重约提速一倍（Qwen2.5-14B在A100上2.12倍），大批量转为计算受限后增益消失（Gemma 3 12B批量256时1.02倍），此时FP8仍有效；许多精度差值落在采样噪声内。论文提出七项报告清单。

要点速读

1. 仅两个Gemma 3 12B的INT4版本同时具备vLLM计时与精度分数，精度仅覆盖单一MMLU科目。
2. 小批量解码受内存带宽限制，4位权重约提速一倍；大批量计算受限时增益消失，FP8仍可受益。
3. 许多已发布的精度差值（含全部HumanEval差值）处于基准采样噪声范围内。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。