现有检索智能体在隐式与累积需求下准确率明显下降。
资讯摘要
论文提出 CompLit 文献检索基准，覆盖 arXiv 全部八个领域，并针对隐式需求、累积需求和未被论文覆盖的未满足需求各设一个诊断场景。作者报告，最强智能体 Codex（GPT-5.6-Sol）与 Claude Code（Opus 4.8）在标准查询上正确率为 86–87%，隐式需求下降至 66–68%，累积场景再分别下降 6 和 15 个百分点，对无论文可满足的查询最多仅 53% 选择弃答。追踪搜索过程发现，智能体常能找到正确或最接近的论文，却对其判断错误。
要点速读
- CompLit 覆盖 arXiv 八个领域，为隐式、累积、未满足三类需求各设诊断场景。
- Codex（GPT-5.6-Sol）与 Claude Code（Opus 4.8）标准查询正确率 86–87%，隐式需求下为 66–68%。
- 累积需求使两者分别再降 6 和 15 个百分点；无解查询中弃答率最高 53%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。