检索器越强，标签越失真：不完整相关性判断如何扭曲对话式RAG的弃答评估

论文建议按内容标签而非金标是否存在来评估拒答。

资讯摘要

论文指出，MTRAG、RETECO 等对话式 RAG 基准以“检索上下文是否含金标文档”作为可回答性捷径，会扭曲弃答评估。作者在 RECOR 上用四种检索器（nDCG@10 从 .18 到 .59）和三个 Qwen3 阅读器复跑官方基线，并用两个开放 LLM 评判器、四个小模型小组及另一家族模型盲审 250 个上下文。结果显示检索器越强，无金标上下文仍含答案的比例从 28% 升至 72%，该捷径精确率从 .68 降至 .10（审计下 .70 降至 .21）。

要点速读

1. 在 RECOR 上，检索器越强，无金标但实际可回答的上下文占比从 28% 升至 72%，捷径精确率从 .68 降至 .10。
2. Qwen3-4B 对这类“假漏”上下文正确回答率为 62–67%，而被判不足的无金标上下文仅 23–30%，无文档时为 1%。
3. 在标注者判断的 MTRAG 上精确率从 .72 降至 .50；该捷径使可回答性 AUROC 最多低估 .19。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。