查询保留多少原诗措辞,决定 BM25 与稠密检索谁更强。
资讯摘要
论文针对古典阿拉伯诗歌检索,在两种语料、三种索引模式和两种评测协议下对比九个稠密编码器与 BM25。作者报告:检索器优劣取决于查询保留多少原诗句措辞——只记得片段时 BM25 领先,包括一个 8B 先进模型(Recall@5 0.746 对 0.717);抽象查询时 BM25 跌至十者第八(0.392 对 0.748)。改写同一查询的措辞可大幅改变排序,说明结果主要由查询构成决定。
要点速读
- 在只记得片段的查询上 BM25 领先所有稠密编码器,Recall@5 为 0.746 对 0.717;抽象查询上 BM25 降至第八,0.392 对 0.748。
- 加入一句记得的半联诗使 BM25 提升 38 点;手工改写引用的词句后 BM25 与 8B 编码器持平。
- known-item 检索与主题相关性两种标准协议在同一批系统上结果不一致,该结果由两名盲标注者和两个开放权重评审模型复现。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。