文档修订后分块重算成本差异明显,静态检索评测未体现。
资讯摘要
论文针对检索增强生成的分块策略,在120对相邻中英文维基百科修订版本上测量更新成本,比较固定长度、递归段落优先与内容定义分块三种无状态分块器,采用严格字节一致复用规则与冻结稠密编码器。在116篇共同成功样本上,固定分块需重算57–68%的新版本嵌入输入,递归为38–56%,内容定义分块为43–54%(62篇中文中有4篇失败);在固定2048 token检索预算下,平均证据召回率差异不足两个百分点。作者认为更新成本应随检索质量一并报告。
要点速读
- 论文在120对相邻中英文维基百科修订上测量三种无状态分块器的重算成本,使用冻结编码器和字节一致复用规则。
- 116篇共同成功样本中,固定分块重算57–68%,递归分块38–56%,内容定义分块43–54%,后者在4篇中文文章上失败。
- 固定2048 token检索预算下,各分块器平均证据召回率差异不足两个百分点;成本参数网格显示两种内容感知分块器的排名随块长设置变化。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。