输出向量编辑缓解大模型记忆复现

OVE 编辑输出向量，以更少更新降低训练文本复现率。

资讯摘要

论文提出 Output Vector Editing（OVE），一种事后方法，用于抑制模型从给定前缀复现训练文本的续写。该方法结合 MLP 层与神经元的两阶段定位和全词表最小二乘更新，编辑神经元输出向量而非将激活置零；其多锚点变体 OVE-MA 自适应选择续写位置。作者在四个模型（360M–7B）上评估，报告在 634 对 OLMo-7B 数据上，OVE-MA 每次请求最多五次输出向量更新后仍有 24.45% 可恢复，低于 REVS 的 32.02%，且更新操作约少 75 倍。

要点速读

1. OVE 通过编辑 MLP 神经元的输出向量抑制记忆复现，无需梯度，推理时无需额外干预。
2. OVE-MA 自适应选择续写位置，以较少权重更新集中实现抑制。
3. 作者报告在 634 对 OLMo-7B 数据上，OVE-MA 可恢复比例为 24.45%，REVS 为 32.02%，更新操作约少 75 倍。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。