GraphRAG在20题基准中答对16题,优于向量RAG的3题。
资讯摘要
论文研究用知识图谱存储元数据与频繁变化的信息,能否改善基于嵌入相似度的知识检索。作者以SEC EDGAR单季度快照构建数据集,含10,511家公司167,050份文件、508,714个嵌入文本块,并建立430,257个节点、561,144条边的知识图谱。对比text-to-SQL、HNSW向量RAG与两阶段GraphRAG三种架构,由LLM作为评判对20个问题各问三次评分。
要点速读
- GraphRAG在三次尝试中均答对20题中的16题,text-to-SQL为10题,向量RAG为3题。
- GraphRAG在结构化聚合查询上表现不佳;向量RAG在单文档类别仅通过15题中的3题,GraphRAG为15题全过,作者归因于该规模下公司归属无法从余弦相似度恢复。
- 基准中6个自信的错误陈述均来自text-to-SQL混淆同姓的不同人物,GraphRAG未出现此类错误;作者声明结论仅限该语料、模型与问题集。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。