论文提出 LoReS，在多个循环模型上实现 8 位状态量化与解码加速。
资讯摘要
论文分析循环语言模型与 softmax Transformer 在量化上的数值差异，区分额外状态量化与循环状态内部量化两类目标。作者在 1.3B 参数模型中观察到衰减循环的残差离群通道更弱，更易量化；并提出 LoReS 管线，结合值轴尺度分组、基于衰减的混合精度与随机舍入。作者报告在 Qwen-3.5 9B、Nemotron-H 8B、Kimi-Linear 48B-A3B 上支持稳健的 8 位状态量化，并在 vLLM 中实现解码加速。
要点速读
- 论文区分额外状态量化与循环状态内部量化，指出后者在解码中反复更新，数值问题不同于 KV cache 量化。
- 在受控 1.3B 参数模型中，作者发现衰减循环的残差离群通道弱于 softmax 注意力，无需 incoherence 处理即可量化。
- LoReS 结合值轴尺度分组、基于衰减的混合精度和随机舍入，作者报告在三个模型上支持 8 位状态量化并在 vLLM 中实现端到端解码加速。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。