论文提出并行编译方法，使分层RAG的LLM控制与串行策略一致并降低延迟。
资讯摘要
论文针对分层RAG中LLM在文档树各层选择b/k章节的控制任务，指出串行语法约束解码并非必要：可达未来构成浅层动作前缀树，可用一次根预填充加一次树因果探针并行评估所有前缀条件动作分布。作者提出前缀状态引理，称在精确算术下编译控制与串行策略一致，关键路径为两次前向、输出零token，并可再经一次探针认证精确的阶边缘化MAP集合。
要点速读
- 论文将分层RAG的LLM控制建模为浅层动作前缀树，用根预填充加树因果探针一次评估所有前缀条件动作分布。
- 作者报告前缀状态引理使编译控制在精确算术下与串行策略一致，关键路径为两次前向且输出零token。
- 在MetaX设备四个文档不相交划分与两个规模上，编译控制与串行策略在84–89%问题上一致，控制延迟较逐token串行解码降低35–47%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。