仅用攻击成功率评估 RAG 投毒防御会掩盖防御引入的新失败。
资讯摘要
论文指出，RAG 知识投毒防御目前主要用攻击成功率（ASR）评估，这会掩盖防御本身引入的失败及其作用机制。作者提出 Aligned RAG Evaluation 匹配查询协议，联合考察有无防御下的干净与投毒响应，区分被阻止的失败与新增的失败、目标提及与 LLM 认可、单段落影响与证据组合。在 HotpotQA 和 Natural Questions 上的实验显示，现有防御虽能阻止部分攻击，却可能引入意外的目标正向回答，评估标准也会改变防御排名。
要点速读
- 论文提出 Aligned RAG Evaluation 匹配查询协议，结合匹配条件分析、LLM-judge 认可与检索依赖控制。
- 在 HotpotQA 和 Natural Questions 上，现有防御可阻止部分攻击，但会引入意外的目标正向回答。
- 评估标准的变化会改变防御方法的排名；代码与评估工件已公开。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。