ResMem：将检索知识蒸馏为参数化记忆

ResMem 把检索文本离线蒸馏进参数化记忆，降低存储并提升问答 F1。

资讯摘要

论文提出 ResMem，让 LLM 离线阅读检索文本生成教师目标，训练参数化记忆学习附加的 logit 残差，使同骨干的学生模型对齐教师分布，自蒸馏更新仅限记忆模块。在 Wikipedia 子集上，教师构建存储较 kNN 流程减少 94.7%；五个问答数据集上平均 token F1 从冻结 LLM 的 32.83% 升至 34.48%，破坏原有正确答案比 kNN 训练记忆少 21%。代码与权重已公开。

要点速读

1. ResMem 用 LLM 离线读取检索证据生成教师目标，训练参数化记忆学习 logit 残差，避免存储大量 token 表示。
2. 在 Wikipedia 子集上，教师构建保留的存储较所评估的 kNN 流程减少 94.7%。
3. 五个问答数据集上平均 token F1 由 32.83% 升至 34.48%，破坏 LLM 原有正确答案比 kNN 训练记忆少 21%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。