回到最新动态
研究论文 / THE SIGNAL

文档修订下的分块重算成本与检索质量对比

Chunk Recomputation under Real Document Revisions: Measuring Update Cost and Retrieval Quality of Fixed, Recursive, and Content-Defined Chunking

重要性 5.2 AI 辅助整理

文档修订后分块重算成本差异明显,静态检索评测未体现。

资讯摘要

论文针对检索增强生成的分块策略,在120对相邻中英文维基百科修订版本上测量更新成本,比较固定长度、递归段落优先与内容定义分块三种无状态分块器,采用严格字节一致复用规则与冻结稠密编码器。在116篇共同成功样本上,固定分块需重算57–68%的新版本嵌入输入,递归为38–56%,内容定义分块为43–54%(62篇中文中有4篇失败);在固定2048 token检索预算下,平均证据召回率差异不足两个百分点。作者认为更新成本应随检索质量一并报告。

要点速读

  1. 论文在120对相邻中英文维基百科修订上测量三种无状态分块器的重算成本,使用冻结编码器和字节一致复用规则。
  2. 116篇共同成功样本中,固定分块重算57–68%,递归分块38–56%,内容定义分块43–54%,后者在4篇中文文章上失败。
  3. 固定2048 token检索预算下,各分块器平均证据召回率差异不足两个百分点;成本参数网格显示两种内容感知分块器的排名随块长设置变化。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开