回到最新动态
论文更新 / THE SIGNAL

用权重空间谱指纹追溯LLM谱系

Who Built This Model? Tracing LLM Lineage via Spectral Fingerprints in Weight Space

重要性 5.5 AI 辅助整理

仅凭权重谱几何即可判别LLM来源与谱系关系

资讯摘要

论文提出一种无需输入数据的LLM“生物特征”方法,仅从权重矩阵判断模型来源与谱系。作者用奇异值分布刻画谱能量、用子空间偏差刻画方向几何,在110余对开放权重模型上区分独立训练、同系列与共享基座模型。结果显示谱能量可区分独立模型与不同模型家族,子空间对齐可细粒度识别数据集规模与后训练差异。

要点速读

  1. 论文将问题定义为谱系判别:区分独立来源、同系列与共享基座模型。
  2. 方法结合奇异值分布的谱能量与子空间偏差的子空间对齐两个视角。
  3. 在超过110对开放权重LLM上实验,作者报告权重空间几何可提供可解释的谱系信号。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开