ShiftRAG：用连续软令牌绕过文本瓶颈

论文提出解耦检索与生成、以软令牌传递检索信号的 RAG 框架。

资讯摘要

论文提出 ShiftRAG，一种解耦式 RAG 框架：使用单一 LLM 主干，但将判别式检索学习与自回归生成分开训练，再把检索对齐结果投影为连续软令牌，作为高带宽接口注入生成器。作者称软正交目标可缓解秩塌缩，逐层相关性动态保留细粒度隐空间。论文报告其在检索与问答上优于现有基线，并保持主干基础能力与效率性能折中。

要点速读

1. 论文指出仅向生成器传原始文本会丢弃检索器的判别信号，形成文本瓶颈。
2. ShiftRAG 用连续软令牌连接解耦的检索与生成，并提出软正交目标缓解秩塌缩。
3. 作者报告该方法在检索和问答上超过现有最优基线，并保持通用文本编码与生成能力。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。