研究：BPE分词器稀有词元可泄露训练数据成员信息

论文称BPE分词器稀有词元可泄露训练数据成员信息。

资讯摘要

论文提出，BPE分词器在训练文本上学习词表，稀有字符串只有在语料频率足够高时才会成为词元，因此候选数据集使用的稀有词元可能携带成员信号。作者在BPE纳入的阈值模型下形式化该观察，认为似然比检验会给背景中稀有、候选数据中频繁的词元更高权重，并称一旦已知词元存在性与数据集频率，合并排名和合并图位置不应再提供一阶成员信号。作者据此提出RTAM-Fusion，用影子分词器校准稀有词元质量并跨稀有度融合信号。

要点速读

1. 论文提出，BPE分词器的稀有词元可反映候选数据集是否曾出现在其训练语料中。
2. 作者报告，在分词器成员基准上，RTAM-Fusion的AUC与平衡准确率优于Vocabulary Overlap，且使用更少的影子分词器。
3. 作者称，在生产词表规模下，现有防御面对自适应攻击者仍会泄露成员信号。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。