论文发布跨章节问答基准,并用反馈重构RAG架构提升检索。
资讯摘要
论文提出CrossChapterQA,包含14本公版书上的1,853个跨章节问题,每题标注所需2至6个章节、关联关系、证据及两个独立参考答案。作者据此构建LadderRAG,将书索引为段落、摘要和书籍级卡片,索引成本约0.41美元,单题回答成本低于1美分。初版主要失败于检索,经四次重构,最终版在初版答错的191题上把所需章节召回率从0.36提升至0.79,十位标注者平均评分6.5/10。
要点速读
- CrossChapterQA含1,853个跨章节问题,覆盖14本公版书,每题标注所需章节、关系与证据。
- LadderRAG以段落、摘要和书籍级卡片建索引,索引约0.41美元,单题回答低于1美分。
- 最终版在初版答错的191题上召回率由0.36升至0.79,十位标注者平均评分6.5/10。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。