蒸馏后学生后门选择性会随触发位置改变，部分并非继承。
资讯摘要
论文研究蒸馏小模型时学生模型如何继承教师后门：触发串固定为罕见字符串并引发固定拒答，仅改变触发位置（随机词边界或指令末尾），在 Qwen2.5、Llama 3.2、Gemma 3 的九个师生组合上比较。作者报告随机插入的触发在蒸馏后选择性普遍下降，末尾附加的触发在 Qwen 和 Llama 中选择性上升、Gemma 变化不大；无教师对照显示部分行为并非继承而来。
要点速读
- 实验固定触发串、仅改变出现位置，在九个师生组合上对比精确触发、六个控制串与干净输入。
- 随机插入的触发在全部九个组合中蒸馏后选择性下降；末尾附加触发在 Qwen、Llama 上升，Gemma 变化小。
- 无教师对照显示 Llama 与 Gemma 学生仅凭 150 条中毒样本即可学会末尾后门，仅 Qwen 0.5B 学生依赖教师。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。