CoS-VQ：面向大语言模型的协同共享尺度向量量化

CoS-VQ 以联合索引-尺度更新替代增大码字维度。

资讯摘要

论文提出 CoS-VQ（协同共享尺度向量量化），在保持低维码字的同时联合优化硬索引与跨位置共享尺度，以缓解尺度耦合导致的逐点更新停滞。方法在多个探测尺度收集候选，并构造切线可分离上界，将候选比较化为正尺度上直线的下包络，从而避免穷举码字组合。作者报告在 Qwen3.8-27B 的语言建模、编程与推理基准上优于 QTIP 和 LLVQ，消融显示联合更新收益大于仅尺度细化。

要点速读

1. CoS-VQ 保持低维码字，联合优化硬索引与跨位置共享尺度，针对尺度诱导的耦合问题。
2. 方法用多探测尺度候选与切线可分离上界，将比较化为正尺度上直线下包络，避免穷举码字组合。
3. 作者报告在 Qwen3.8-27B 的语言建模、编程和推理基准上优于 QTIP 与 LLVQ；消融显示联合更新收益大于仅尺度细化。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。