面向长程LLM智能体的模型内软Token上下文压缩

论文提出免训练软Token压缩，长程智能体注意力开销最多降50.68%。

资讯摘要

论文提出 Agentic Soft-Token Compression（ASTC），一种无需训练的压缩方法，用于长程 LLM 智能体的上下文管理。它借助模型原生的循环动态（基于常用的混合 Gated Delta Network 与注意力机制）判断已吸收的信息，将其作为 agentic soft tokens 前向携带，同时以 hard tokens 保留精确值。作者报告在长程任务上，ASTC 的准确率与未压缩智能体持平或更高，端到端 Attention Pairs 最多减少 50.68%，而训练式压缩器每个成功任务所需 Attention Pairs 多出 15.4 至 103.7 倍。

要点速读

1. ASTC 为无需训练的模型内压缩方法，利用混合 GDN-注意力判断已吸收信息，并以 soft tokens 前向携带、hard tokens 保留精确值。
2. 作者报告在长程任务上准确率与未压缩智能体持平或更高，端到端 Attention Pairs 最多减少 50.68%。
3. 论文称训练式压缩器每成功任务所需 Attention Pairs 比 ASTC 多 15.4 至 103.7 倍。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。