基座模型训练的线性探针可迁移到蒸馏与指令微调模型。
资讯摘要
论文测试线性探针在模型换代后的可复用性：在四个基座模型（Qwen2.5-Math-7B、Llama-3.1-8B、Qwen2.5-14B、Qwen2.5-32B）上用 XSTest 训练探针，原样用于 DeepSeek-R1 蒸馏推理模型和对应指令微调聊天模型。作者报告后继模型将安全与不安全提示的区分方向旋转 17° 至 35°，但迁移后 AUC 变化很小。
要点速读
- 在 XSTest 上迁移探针的 AUC 变化为 -0.011 至 +0.027，在未参与训练的 OR-Bench 上为 -0.015 至 +0.053。
- XSTest 上探针比仅看提示文本的分类器高 0.15 至 0.20 AUC；OR-Bench 上差距缩至 0.03 至 0.20。
- 探针将 29% 至 42% 听起来有害但实际无害的提示误标，说明其部分读取的是有害表象。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。