CoinRAG 以细粒度语义单元 KV 复用改进长上下文 RAG 的延迟与准确率权衡。
资讯摘要
论文提出 CoinRAG,针对长上下文 RAG 中块级 KV 缓存复用仍存在冗余与噪声的问题,改为在检索块内通过两阶段检索识别与查询相关的语义单元,将其切片 KV 表示与块级上下文组合复用,以在低预填充延迟下提升准确率。作者报告在 LongBench 多跳问答上缩短有效上下文,并在标准快速预填充延迟预算下取得平均 5.3% 的 F1 相对提升,且可与 CacheBlend 的选择性重计算结合。
要点速读
- CoinRAG 用两阶段检索在检索块内定位查询相关语义单元,复用其切片 KV 表示而非整块编码。
- 论文报告在 LongBench 多跳问答上缩短有效上下文,标准快速预填充延迟预算下 F1 平均相对提升 5.3%。
- 该方法可与 CacheBlend 的选择性重计算结合,在相同延迟预算下进一步提升准确率。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。