回到最新动态
交叉发布 / THE SIGNAL

RAG投毒防御评测受构造线索影响

Ranking Is Not Deciding: Benchmark Shortcuts and Operating-Point Collapse in Query-Time RAG Poisoning Defenses

重要性 6.5 AI 辅助整理

RAG投毒防御的高检测率可能来自投毒集构造线索而非真实检测能力。

资讯摘要

论文指出,查询时RAG投毒防御在基准上的高检测率更多由投毒集构造方式决定,而非过滤器实际读取的内容。作者发现PoisonedRAG代码将目标问题前置到插入段落,删除该前缀后RAGuard的AUROC从0.953降至0.758,漏检率从0.191升至0.763;用无内容填充词对齐长度后,TrustRAG漏检率从0.000升至0.827。作者据此主张检测结果须同时报告投毒集构造画像与实际部署阈值下的假阳性率。

要点速读

  1. 删除投毒段落中的目标问题前缀后,RAGuard的AUROC从0.953降至0.758,漏检率从0.191升至0.763。
  2. 用词序打乱的填充词把医疗投毒补齐到干净文本长度后,TrustRAG集合级漏检率从0.000升至0.827。
  3. 作者调查的21项已发表防御评测中,8项可验证使用此类构造投毒,5项改用长度线索,12项未报告部署阈值下的假阳性率。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开