风险易读的位置不等于干预最有效的位置。
资讯摘要
论文提出 REACT，一种条件激活干预方法：从安全与不安全的思维链轨迹对中学习安全方向，仅在早期思维链隐藏状态上施加一次，模型权重保持冻结，后续 token 不再修改。作者在前五个思维链位置分别训练方向并评估，发现最强效果集中在第 2 至 3 个 token 的早期窗口；在 DeepSeek-R1-Distill-Llama-8B 上，第 4、5 个 token 处效果趋近于零，尽管后续状态对风险的预测性更强。该 8B 模型在 StrongREJECT-273 上完全安全的思维链-答案输出比例从 29.06% 升至 82.05%，良性拒答与有用性接近基线。
要点速读
- REACT 学习安全方向并只对早期思维链隐藏状态施加一次干预，模型权重冻结，后续生成不再编辑。
- 作者在三个蒸馏推理模型、三个生成种子上测试，最强增益集中在第 2 至 3 个 token 的早期窗口。
- DeepSeek-R1-Distill-Llama-8B 上完全安全输出比例由 29.06% 升至 82.05%，良性拒答与有用性接近基线。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。