持续更新的探针作训练信号可对齐模型且不损失可监控性。
资讯摘要
论文研究探针引导微调：用检测模型激活中不良属性的探针作为直接训练信号，而非仅依赖输出层面的示范、偏好或奖励。作者在无害性与诚实两个对齐目标上评估线性与非线性探针及每层探针数量，发现训练中不更新的探针目标易被利用，持续更新的探针能显著降低有害性、提升诚实性并保持效用。该方法在安全与效用的权衡上优于 DPO 和推理时引导，对越狱与消融攻击更稳健，且微调后相关概念仍以线性方式编码，监控能力未被破坏。
要点速读
- 论文提出探针引导微调，用模型激活上的探针作为对齐训练信号，替代仅基于输出的对齐目标。
- 训练中不更新的探针目标容易被利用；持续更新的探针在降低有害性、提升诚实性同时保持效用。
- 该方法安全-效用权衡优于 DPO 与推理时引导，对越狱和消融攻击更稳健，且概念仍保持线性编码。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。