论文用小型外部潜在记忆复用技能,兼顾存储与推理效率。
资讯摘要
论文提出 SkillMem,将每个可复用技能表示为小型外部潜在记忆,在潜在多智能体推理中直接调用,并用角色条件交叉注意力读取器按智能体角色与当前隐状态引导不同智能体。作者通过行为蒸馏训练技能记忆与共享读取器,主干模型保持冻结。在六个基准和 Qwen3 4B 至 14B 模型上,作者报告小模型收益明显,且统一采用 8×256 记忆配置,每技能含检索嵌入约需 9.6KB 存储。
要点速读
- SkillMem 把技能存为外部潜在记忆,避免文本重复处理或逐技能参数存储。
- 角色条件交叉注意力读取器让同一记忆按智能体角色和隐状态提供引导。
- 作者报告 100 个技能时总存储较替代方案降低逾 38 倍,端到端推理最高加速 4.23 倍。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。