Boa 用 Mamba 状态空间模型实现线性时间在线上下文压缩。
资讯摘要
论文提出 Boa Compressor，一种基于 Mamba 状态空间模型（SSM）的即插即用在线上下文压缩器，可在单次线性时间计算中编码任意长度上下文，并以此表示条件化冻结的目标 LLM。该 SSM 通过蒸馏训练，使压缩表示下 LLM 的下一 token logit 分布对齐完整上下文下的分布。作者报告：在相同压缩比下，Boa 匹配或超过现有离线压缩基线，速度比 Transformer 实现快一个数量级，并可扩展至更长上下文及 16 倍压缩比。
要点速读
- Boa Compressor 基于 Mamba SSM，单次线性时间编码任意长度上下文，输出表示用于条件化冻结的目标 LLM。
- 训练采用蒸馏：对齐完整上下文与压缩表示下 LLM 的下一 token logit 分布。
- 作者报告在相同压缩比下匹配或超过现有离线压缩基线，速度比 Transformer 实现快一个数量级，并支持 16 倍压缩比。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。