论文提出按查询检索目标状态的输入依赖式引导编辑
资讯摘要
论文研究 LLM 激活引导编辑应在何时依赖输入。作者指出，当查询所请求的类别内部目标方向存在变化时，编辑就应依赖输入，且这一点可在拟合规则前测得。研究从对比激活加法（CAA）的固定方向，过渡到按查询检索目标状态，并在六个替换语料及一个外部基准上测量。作者报告，输入依赖式引导在类别内目标变化时优于固定方向，检索在两个模型的每个语料每一层均胜出。
要点速读
- 论文提出，引导编辑是否应依赖输入，取决于目标是否在查询请求的类别内变化，并称该条件可提前测量。
- 方法从 CAA 的固定方向扩展到按查询检索：取请求类别内与查询最近的 k 个存储状态的均值，k 等于类别大小时即退化为类别条件均值差。
- 作者报告，在六个替换语料和外部基准上，输入依赖式引导在类别内目标变化时优于固定方向；词级编辑宜在网络前十分之一层用少量近邻，子句级编辑可在任意深度用类别均值。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。