SpecMem 让工具调用记忆在线更新，报告最高 1.74 倍加速。
资讯摘要
论文提出 SpecMem，一种在部署期间持续维护的工具调用记忆：经校验的调用在线写回按用户划分的有界存储，采用 LRU 淘汰，并用副作用门控把不可逆调用推迟到校验确认之后。作者在三个开放权重模型上测试多会话、多用户查询流，报告平均接受 token 数比冻结存储高 27%，最高 1.74 倍实际耗时加速。
要点速读
- 论文将工具调用延迟问题归因于逐 token 自回归解码，用检索到的历史调用作为投机解码草稿。
- SpecMem 在线写回经校验的调用，按用户划分有界存储并做 LRU 淘汰；副作用门控推迟不可逆调用。
- 作者报告：相比冻结存储，平均接受 token 数高 27%（各基准 +11% 至 +34%），最高 1.74 倍实际耗时加速；消融显示增益主要来自保持存储更新。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。