论文称频繁压缩上下文可在长任务中几乎不损失准确率。
资讯摘要
一篇论文指出，生成靠后 token 的成本高于靠前 token，在开源权重前沿模型上这一成本差距最高可达约 7 倍。作者通过频繁压缩上下文，在多种长程与长输入任务上测试，报告前沿语言模型在维持短上下文时任务准确率几乎不下降；在长程软件工程任务中，即使每个上下文只执行一个动作，性能也未崩溃，并据此提出语义状态空间模型（SSSMs）概念。
要点速读
- 论文称生成靠后 token 的成本高于靠前 token，在开源权重前沿模型上差距最高约 7 倍。
- 作者采用频繁压缩上下文的方法，在长程和长输入任务上报告准确率几乎无损。
- 长程软件工程任务中每个上下文最多执行一个动作，性能未崩溃，作者据此提出语义状态空间模型（SSSMs）。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。