论文用注意力头定位实现无需微调的多价值对齐控制。
资讯摘要
论文从机制可解释性角度研究LLM多价值对齐，提出基于探针的价值定位框架，识别出与无害性、诚实等人类价值及连贯性、复杂度等风格偏好相关的稀疏注意力头（value heads）。跨模型分析显示这些头存在功能专门化与结构化交互，包括价值冲突；定向消融可引发价值特异性行为变化。作者据此提出推理时激活引导策略，无需更新参数即可控制单一或组合价值，并在多个基准上报告有效且基本保持非目标性能。
要点速读
- 论文提出基于探针的价值定位框架，在LLM中识别出与多种人类价值和风格偏好相关的稀疏注意力头（value heads）。
- 跨多个LLM家族的分析显示value heads存在功能专门化与结构化交互，定向消融提供了其功能重要性的因果证据。
- 作者提出推理时激活引导策略，无需更新模型参数即可控制单一或组合价值，并在多个价值对齐基准上报告有效且基本保留非目标性能。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。