回到最新动态
交叉发布 / THE SIGNAL

相关性引导残差校准改进稠密检索谱压缩

Relevance-Guided Residual Calibration for Spectral Compression of Dense Retrieval Embeddings

重要性 5.0 AI 辅助整理

RRC 用相关性判断校准谱压缩权重,无需额外训练。

资讯摘要

论文提出相关性引导残差校准(RRC),一种闭式方法,用相关性判断修正谱压缩中各保留方向的权重:先按正负样本得分贡献的均值与方差估计边际权重,保留正权重方向,再将其对数权重分解为幂律趋势与残差,把残差叠加到压缩器对数权重上,从而在保持整体谱趋势的同时调整单个方向。RRC 适用于 PCA、Whitening 和 SpecTemp,无需迭代训练或额外推理阶段。

要点速读

  1. RRC 为闭式方法,利用相关性判断估计各保留方向的边际权重,并将对数权重分解为幂律趋势与残差后叠加修正。
  2. 方法可应用于 PCA、Whitening、SpecTemp,修正并入文档与查询共享的既有变换,无需迭代训练或额外推理阶段。
  3. 作者报告在三个编码器、九个数据集上,SpecTemp+RRC 在各目标维度取得最高平均效果;BRIGHT 五个数据集 768 维时较 SpecTemp 平均提升 2.34 nDCG@10,且在标量与乘积量化下仍有效。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开