回到最新动态
研究论文 / THE SIGNAL

从检索嵌入中提取本体结构

Peeling the Matryoshka: Extracting Ontological Structure from Retrieval Embeddings

重要性 5.0 AI 辅助整理

论文称冻结检索嵌入含可解码的粒度梯度,简单探针即可还原父子结构。

资讯摘要

论文报告一项经验发现:在 Matryoshka 表示学习(MRL)嵌入中,前缀长度与金标准分类体系的粗到细粒度对齐,且该模式在三个架构不同的 MRL 模型上成立。作者据此提出 PEEL,在冻结嵌入上以序嵌入目标训练一次,用最小生成树解码分类 DAG;仅用概念词表、无需文档,在两个 OLLM 基准上恢复出高结构保真度的分类 DAG,并可无目标边监督迁移到新领域。

要点速读

  1. 论文发现 MRL 嵌入的前缀长度与金标准分类体系的粗到细粒度对齐,打乱与逆序维度对照将这一对齐定位到学习到的早期前缀维度。
  2. PEEL 在冻结嵌入上以序嵌入目标训练一次,再用最小生成树解码分类 DAG。
  3. 仅用概念词表、不用文档,PEEL 在两个 OLLM 基准上恢复分类 DAG,并可无目标边监督迁移到新领域。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开