回到信息流
研究论文 / THE SIGNAL

SpecMRL:在参数谱空间内重构Matryoshka表示学习

SpecMRL: Redesign Matryoshka Representation Learning within Parametric Spectrum

AI 辅助整理

资讯摘要

论文提出SpecMRL,针对Matryoshka表示学习(MRL)缺乏显式约束以确保前缀部分提供合适紧凑编码的问题,将特征空间重组为按特征重要性组织的参数导出谱基,并在学习到的谱空间中执行前缀读取。作者报告MTEB实验显示,SpecMRL在所有评估的降维维度上均优于MRL,压缩越激进增益越大;仅用一半嵌入维度即超过全维度MRL。

要点速读

  • 论文指出MRL联合优化嵌套前缀以支持灵活表示尺寸,但缺少显式约束保证前段提供合适紧凑编码。
  • SpecMRL在标准MRL基础上引入按特征重要性组织的参数导出谱基,前缀读取在学习到的谱空间中进行。
  • 作者报告MTEB上SpecMRL在所有评估的降维维度优于MRL,压缩更激进时增益更大,半维度即超过全维度MRL。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/21 00:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开