新基准显示稠密检索器难辨否定改写证据,BM25 反而更好。
资讯摘要
论文提出 CoverageBench-Negate,在 CoverageBench 基础上为每个 nugget 构造否定版本并改写支撑文档,形成覆盖六个数据集、约 6.3 万对原始与编辑证据的基准,用于考察检索器在语料信息与参数知识相矛盾时的表现。基线实验中 BM25 区分原始与编辑近孪生证据的能力明显优于 Qwen3、Jina 等稠密检索器,后者接近随机水平。作者在 Hugging Face Datasets 发布基准与构建材料。
要点速读
- 论文构建 CoverageBench-Negate,含约 63,000 对原始与编辑证据,覆盖六个数据集。
- 基线实验中 BM25 明显优于 Qwen3 和 Jina 稠密检索器,后者接近随机水平。
- 基准及构建材料(含提示词)已发布于 Hugging Face Datasets。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。