ShallowDefend：利用浅层安全对齐构建多轮对话防御

论文用显式安全决策占据回复起始段来防御多轮攻击。

资讯摘要

论文提出 ShallowDefend 框架，针对多轮对话中安全对齐易被绕过的问题，采用“评估→决策→回应”流程：防御方先判断用户意图，输出可解析的显式安全决策，再据此生成回复，并用强化学习在该决策位置训练。作者报告在两个模型家族、十四个基准上取得受控比较中最强的多轮安全性，效用基本保持，有用性有适度代价；逐 token KL 分析与干预实验显示，训练效果集中在决定回复走向的短暂思考段。

要点速读

1. 论文指出安全行为集中在模型最初几个输出 token，现有防御继承这一浅层弱点，只监督回复表面形式。
2. 方法让防御方先提交显式、可解析的安全决策，再条件生成回复，并用规则式自验证奖励或 LLM-as-judge 奖励训练。
3. 作者报告在两个模型家族、十四个覆盖安全、效用与有用性的基准上，多轮安全性在受控比较中最强，有用性有适度代价。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。