论文揭示LLM角色伪装攻击并给出线性探针检测方案。
资讯摘要
论文研究LLM中的角色伪装问题：模型会依据文本风格而非标注角色判断说话者，工具输出中的恶意文本可借此冒充用户。作者指出模型同时依赖内容线索与结构线索追踪“谁说了什么”，结合伪造结构与内容的攻击成功率较高；对抗训练可缓解基于内容的注入，却仍难防基于结构的攻击。论文还提出用线性探针预测对话角色来检测此类攻击，并在多种设置下验证有效。
要点速读
- 论文将工具输出中恶意文本冒充用户的现象称为角色伪装，源于模型的角色混淆。
- 模型追踪对话角色时同时使用内容线索（语义、写作风格）与结构线索（控制符、格式）。
- 对抗训练能缓解内容型注入，但模型仍易受结构型攻击；作者提出线性探针检测方法。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。