回到最新动态
交叉发布 / THE SIGNAL

Watermark Basins:蒸馏大模型的黑盒检测新方法

Watermark Basins: Black-Box Detection of Distilled LLMs

重要性 5.5 AI 辅助整理

论文提出利用参数空间水印盆地黑盒检测蒸馏模型。

资讯摘要

论文提出 Watermark Basin Alignment(WM-Basin),用于黑盒检测经 API 蒸馏的学生模型。作者发现,带水印的教师轨迹在微调时会在参数空间留下与任务子空间正交、由水印密钥决定的几何信号,即“水印盆地”。WM-Basin 借助固定干净探针模型把生成文本映射为梯度表示,剔除任务方向后检验残差是否与盆地对齐。作者报告在 0.1% 假阳性率下,n-gram=1 时检出 79% 的蒸馏模型,n-gram=3 时为 45%,优于 token 级基线,且信号可经受量化、剪枝与强化学习后训练。

要点速读

  1. 论文提出水印盆地:带水印教师轨迹在微调中于参数空间留下与水印密钥相关、与任务子空间正交的几何信号。
  2. WM-Basin 仅通过 API 查询可疑模型,用固定干净探针模型将文本转为梯度表示并检验与水印盆地的对齐。
  3. 作者报告在 0.1% 假阳性率下,n-gram=1 检出 79%、n-gram=3 检出 45%,并称信号可经受量化、剪枝和强化学习后训练。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开