回到最新动态
交叉发布 / THE SIGNAL

任务向量可线性分解为可解释可控组件

Task Vectors Can Be Linearly Decomposed into Interpretable and Controllable Components

重要性 5.0 AI 辅助整理

论文提出任务向量可分解为任务识别与任务学习组件。

资讯摘要

论文提出将任务向量(TVs)分解为任务识别(TR)、任务学习(TL)与残差三部分,并用贝叶斯优化调整TR/TL系数以实施干预。作者在多个模型家族、分类任务及基于指令和示例的TVs上评估,报告优化后的干预方向优于原始TVs,且对分解组件的单独干预产生与其功能角色一致的不同logit效应。

要点速读

  1. 论文从候选标签的unembedding出发,将每个任务向量分解为TR、TL和残差组件,并用贝叶斯优化求解TR/TL系数。
  2. 作者报告在多个模型家族、分类任务及指令型与示例型TVs上,TR/TL优化得到的干预方向优于原始TVs。
  3. 论文称对分解组件的单独干预产生不同的logit层面效应,且与预期功能角色一致。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开