新基准 ProSearch 显示现有检索器在多约束科学协议检索上表现有限。
资讯摘要
论文提出 ProSearch，一个面向实验科学的多约束协议检索基准，用于评估实验设计与方法复现中检索满足多个相互依赖约束的协议的能力。该基准包含 60 个实验领域及其依赖关系、六大学科共 1,515 条查询，每条查询含 3–5 个显式约束（含数值与否定约束）。作者在 19 个代表性检索器上实验，最佳检索器平均 nDCG@10 仅 0.290，加入重排序后升至 0.474；分析指出联合约束绑定是关键瓶颈。
要点速读
- ProSearch 覆盖 60 个实验领域及依赖关系，含六大学科共 1,515 条查询，每条查询有 3–5 个显式约束。
- 作者测试 19 个代表性检索器，最佳平均 nDCG@10 为 0.290，重排序后提升至 0.474。
- 结构化诊断显示显式约束匹配是强排序信号，人工错误分析将联合约束绑定列为关键瓶颈。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。