回到最新动态
交叉发布 / THE SIGNAL

角色锚定攻击:利用社交互动污染智能体记忆

Is it my preference? Role Grounding Attack against Agent's Memory via Social Interaction

重要性 6.5 AI 辅助整理

社交分享帖可让智能体把攻击者偏好误记为自身用户偏好。

资讯摘要

论文提出角色锚定攻击(RGA),利用智能体记忆系统在“角色—主体”归属上的漏洞:攻击者发布引用其与用户对话的体验分享帖,受害智能体记忆时丢失上下文绑定,把攻击者用户的偏好误记为自身用户偏好,并在检索阶段影响决策。作者将其实例化为工具选择操纵与隐私泄露,在五种主流记忆系统和六个语言模型上评估,报告两类攻击均取得较高成功率。

要点速读

  1. 论文首次形式化角色锚定攻击(RGA),通过嵌套对话结构在记忆形成阶段制造偏好误归属。
  2. 误归属的偏好在记忆检索阶段持续存在,可操纵受害智能体选择攻击者控制的工具,或诱导其在工具参数中泄露敏感信息。
  3. 作者在五种主流记忆系统和六个语言模型上评估,报告工具操纵与隐私泄露均达到较高攻击成功率。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开