LatentRAG：将推理与检索移至潜空间的高效Agentic RAG

LatentRAG在潜空间完成推理与检索，延迟降约90%。

资讯摘要

论文提出LatentRAG框架，将Agentic RAG的推理与检索从离散语言空间迁移到连续潜空间：模型单次前向传播即由隐藏状态生成用于思考与子查询的潜token，并与稠密检索模型在潜空间对齐，支持对潜子查询token检索及端到端联合优化；另设并行潜解码机制将潜token还原为自然语言以提升可解释性。作者报告在七个基准数据集上性能与显式Agentic RAG相当，推理延迟降低约90%。

要点速读

1. LatentRAG用单次前向传播生成思考与子查询的潜token，替代逐token自回归生成自然语言思考与子查询。
2. 框架将LLM与稠密检索模型在潜空间对齐，支持基于潜子查询token的检索和端到端联合优化。
3. 作者报告在七个基准数据集上性能与显式Agentic RAG方法相当，推理延迟降低约90%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。