SQuAT：球面格向量量化感知训练

SQuAT 用形状-增益分离 STE 提升格向量量化感知训练精度

资讯摘要

论文提出 SQuAT，一种形状-增益向量量化感知训练方法：将权重分解为方向与幅度，方向用 E₈ 导出的球面码本量化，增益用低比特标量量化器独立量化，并对两者分别使用直通估计器（STE）。作者称这种分离 STE 使方向更新落在切空间，形成隐式球面（黎曼）优化。为扩展规模，作者设计分布式精确最近邻分配方案，仅通信离散索引，将 VQ-QAT 训练时间缩短 12.8 倍，并扩展到 100 亿 token。在 LLaMA-3.2-1B/3B、Qwen3-4B 与 Qwen3-1.7B 上，作者报告 SQuAT 在相同量化器与初始化下优于标准 VQ-QAT STE，并达到 SOTA 精度。

要点速读

1. 将权重分解为方向与幅度，方向用 E₈ 球面码本量化，增益用低比特标量量化器独立量化
2. 对形状与增益分别使用 STE，作者称其产生切空间更新，构成隐式球面优化
3. 分布式精确最近邻分配仅通信离散索引，训练时间缩短 12.8 倍，扩展至 100 亿 token

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。