BERAG 用贝叶斯集成替代文档拼接,缓解长上下文信息被忽略问题
资讯摘要
论文提出 BERAG 与 BEFT 框架,让语言模型分别以单个检索文档为条件生成,而非拼接成单一上下文;BERAG 将文档后验概率作为集成权重,并在生成过程中按贝叶斯规则逐 token 更新。作者报告其在知识型视觉问答任务上较标准 RAG 有明显提升,在 Document VQA 与多模态 needle-in-a-haystack 基准上增益较强,并缓解“lost-in-the-middle”效应;文档后验还可用于检测依据不足并触发拒答,文档剪枝可加快解码。
要点速读
- BERAG 以单个检索文档为条件,用文档后验概率作集成权重并逐 token 按贝叶斯规则更新
- 作者报告在 Document VQA 和多模态 needle-in-a-haystack 基准上较标准 RAG 有明显提升
- 文档后验可用于检测依据不足并触发拒答,文档剪枝可加快解码
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。