回到最新动态
交叉发布 / THE SIGNAL

LLM多属性激活引导的正交化与参数化方法

Orthogonal and Parametrized Multi-Attribute Steering of LLMs

重要性 5.0 AI 辅助整理

论文提出正交化与参数化方法,实现多特质同时引导

资讯摘要

论文关注激活引导在推理时修改LLM行为的可解释性与稳定性问题。作者先为每个引导向量识别最可引导区间并重新缩放引导范围,提出参数化引导,将激活直接设定到目标特质强度而非沿方向推动。针对多特质引导中向量相互干扰的问题,作者提出正交化方法解耦各特质,使模型可同时引导多个行为。

要点速读

  1. 论文为每个引导向量识别最可引导区间,并据此重新缩放引导范围
  2. 提出参数化引导:将激活设定在期望的特质强度,而非沿方向推动
  3. 发现简单组合多特质向量会相互干扰,提出正交化方法解耦各特质

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开