交叉发布 AI 摘要
AfterDeleteBench:审计LLM智能体删除后信息残留
论文提出AfterDeleteBench,针对固定权重LLM智能体在外部持久记忆删除后信息仍可被恢复的问题做受控行为审计。作者报告:在主要设置下,单次查询可从Qwen2.5-7B-Instruct恢复约三分之二的已删除秘密,而从未接触该秘密的对照组恢复率为零;即使无逐字副本、仅存分散组件,按公开组合规则仍可在Qwen、Mistral和Phi-3上以62%–99%的比例精确重建。论文还指出响应接口与解析器错配会影响评分,并区分重建、写回与新会话回忆;来源感知闭合在测试的正基线设置中消除了观察到的恢复,而精确字面写过滤
- 论文提出AfterDeleteBench,对固定权重LLM智能体删除记忆后的信息残留做受控行为审计。
- 作者报告单次查询可从Qwen2.5-7B-Instruct恢复约三分之二的已删除秘密,未接触对照组为零。
- 仅存分散组件时,按公开组合规则在Qwen、Mistral和Phi-3上精确重建成功率为62%–99%。