论文提出无需外部教师的自生成安全对齐方法 ThinkSafe。
资讯摘要
论文提出 ThinkSafe，将安全重对齐形式化为 KL 投影，认为学生模型自身经安全过滤筛选后的分布是唯一 KL 最优目标，而外部教师蒸馏在目标不一致时会引入额外 KL。方法无需外部教师，从冻结的学生模型生成安全对齐数据：用拒绝引导激发安全推理，再由安全守卫过滤响应，最后离线微调。作者报告在 DeepSeek-R1-Distill 与 Qwen3 上安全提升明显且推理性能有竞争力；Qwen3-0.6B 上约用 GRPO 七分之一实际耗时达到更好安全性与相近推理表现，代码、模型与数据集已公开。
要点速读
- 将安全重对齐形式化为 KL 投影，论证学生自身过滤后分布为唯一 KL 最优，教师目标不一致会带来额外 KL。
- ThinkSafe 用拒绝引导生成安全推理，经安全守卫过滤后离线微调，不依赖外部教师。
- 作者报告在 DeepSeek-R1-Distill 和 Qwen3 上安全提升明显、推理性能有竞争力；Qwen3-0.6B 上约 GRPO 七分之一耗时。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。