冻结外部记忆可跨模型复用,但依赖兼容的读取器接口。
资讯摘要
论文研究 Engram 式哈希外部记忆在跨模型迁移时的效果:将源模型训练的记忆冻结后接到另一目标模型,仅训练轻量读取器。消融显示记忆内容与正确寻址都重要,可用信号量取决于读取器与目标模型的对齐程度。在问答任务中,双层四分支读取器接近同模型复用水平,受控评测平均分 38.8;若提供方读取器与目标接口直接兼容,冻结记忆无需目标侧训练即可发挥作用。
要点速读
- 论文提出跨模型冻结记忆抽取设定:记忆冻结,仅训练轻量读取器。
- 消融表明记忆内容与正确寻址均重要,可用信号取决于读取器与目标模型的对齐。
- 双层四分支读取器在受控评测下平均分 38.8,接近同模型复用;读取器接口兼容时可不经目标侧训练直接使用。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。