回到最新动态
交叉发布 / THE SIGNAL

大模型安全行为的探测与引导

Probing and Steering for Safety-Relevant Behaviours in Large Language Models

重要性 5.0 AI 辅助整理

论文发现探针的检测与引导优劣因行为而异,谄媚上出现反转。

资讯摘要

论文在 Llama-3.1-8B-Instruct 上构建统一流程,比较两种激活探针估计器(均值差与逻辑回归)与三种 token 池化方式,针对欺骗、高风险意识与谄媚三种行为选择层并分别评估检测与引导效果。作者报告此前文献暗示的“读/写分离”在欺骗与高风险上成立,在谄媚上反转,且最佳池化与层选择依赖行为和数据。

要点速读

  1. 论文在 Llama-3.1-8B-Instruct 上交叉两种估计器与三种 token 池化方案,为每种行为选择检测或引导的层。
  2. 作者报告“逻辑回归检测更好、均值差引导更好”的分离在欺骗与高风险上成立,在谄媚上反转,反转部分源于数据。
  3. 最佳引导层可能明显早于最佳检测层,且改变模型感知与诱发行为所用的引导指标可能相互矛盾。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开