改写压缩推理历史可减少后续推理 token 与智能体花费
资讯摘要
论文研究在不重新训练的情况下,让开放权重模型把此前的推理内容改写为紧凑的状态记录,再比较原始历史与压缩历史下的后续生成。作者报告,被接受的压缩历史通常能缩短后续推理,编程案例中共享候选解后的重复验证减少;在软件智能体部署中可降低总花费,但任务质量与含改写的时间取决于目标与压缩器。
要点速读
- 方法是在待处理工具结果揭示前,将先前推理改写为紧凑状态记录,无需重新训练
- 作者报告被接受的压缩历史通常缩短后续推理,编程案例中重复验证减少
- 软件智能体部署中可降低总花费,但任务质量与含改写时间依赖目标与压缩器
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。