无需微调的任务向量实现LLM行为控制

论文提出免微调的任务向量方法，可编辑LLM行为。

资讯摘要

论文提出Training-Free Task Vectors（TFTVs），仅用前向传播统计量将激活引导向量映射为秩一权重空间编辑，无需微调即可得到类任务向量方向，并满足加法学习、减法遗忘与多编辑组合的算术性质。作者在大型语言模型行为控制任务上报告，该方法能稳定增强、抑制和组合目标行为，同时保留通用知识与解题能力，并在与其他编辑和引导基线的对比中表现出更强特质控制与相当或更好的效用保持。

要点速读

1. TFTVs仅依赖前向传播统计量，将激活引导向量映射为秩一权重编辑，避免微调成本。
2. 方法满足加法学习、减法遗忘与多编辑组合的算术性质。
3. 作者报告在LLM行为控制任务上可增强、抑制、组合目标行为，并保留通用知识与解题能力；代码见项目网站。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。