Delta N-gram：仅前向写入语言模型原生 N-gram 记忆

仅前向写入 N-gram 表即可持续注入事实且不破坏原模型。

资讯摘要

论文提出 Delta N-gram，一种仅需前向传播即可向语言模型原生哈希 N-gram 表写入新知识的路径。预训练表 T^0 保持不变，证据写入稀疏补丁 Δ；一个 4.1M 参数的写入器为每个（位置、哈希头）事件生成目标与门控，并用块平均 delta 规则维持每行是旧值与门控目标的凸组合。0.6B 原型在第二次写入后保留 16/16 事实，而在线梯度写入仅保留 2–4/16。

要点速读

1. 预训练 N-gram 表 T^0 不被修改，写入落在稀疏补丁 Δ 上，清除 Δ 即可恢复原模型。
2. 0.6B 原型第二次写入后保留 16/16 事实，在线梯度写入仅保留 2–4/16。
3. 在 Qwen3.8-Flash-Next 上，普通写入器记忆具文档特异性；delta 写入器在干扰下保留 70% 记忆（普通写入器 54%）。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。