论文提出训练时轻量适配器，降低学生模型对推理轨迹的模仿。
资讯摘要
论文提出 Conflict-Aware Logit Adapters（CALA），一种训练时防御方法：在冻结的教师模型上附加小型残差适配器，仅训练该适配器。代理学生模型定位对模仿最敏感的位置，适配器在这些位置扰动输出分布，同时保持在高概率区域内。冲突感知优化策略平衡防蒸馏与效用目标，正则化则维持教师模型的性能与流畅度。作者报告，在推理基准上，CALA 显著降低学生模型成功模仿，同时保持接近原始的教师性能与生成质量，推理开销适中且无需辅助模型。
要点速读
- CALA 在冻结教师模型上附加小型残差适配器，只训练适配器，属于训练时防御而非解码时干预。
- 代理学生模型识别模仿最敏感的位置，适配器在这些位置扰动输出分布，同时限制在高概率区域。
- 作者报告推理基准实验显示学生模仿成功率明显下降，教师性能与生成质量接近原始水平。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。