标注覆盖度会改变RAG检索评估中识别到的证据量,但不改变排名。
资讯摘要
论文提出一种面向乳腺病变管理文献临床RAG系统的证据感知检索评估协议,针对检索分数依赖标注覆盖度的问题。作者用18篇文档、18条查询构建开发基准,结合稠密嵌入、BM25与交叉编码器重排,比较不同分块大小、重叠率与检索器配置。作者报告选定混合检索器在384 token分块、20%重叠下,18条查询中17条在前三结果命中证据,Recall@3等指标均为0.94;扩充标注后证据跨度与可接受分块目标增加但排名不变。
要点速读
- 论文构建18文档、18查询的开发基准,检索融合稠密嵌入、BM25与交叉编码器重排。
- 作者报告384 token分块、20%重叠的混合检索器在18条查询中17条于前三结果命中证据,Recall@3、R-Precision、MRR@3、nDCG@3均为0.94。
- 标注扩充使证据跨度由25增至37、可接受分块目标由36增至51,但检索排名未变;作者指出小规模开发集与检索引导的标注需独立验证。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/25 08:00:13(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。