论文质疑分词研究中的三大迷思

论文指出 BPB 等分词评估指标存在系统性偏差

资讯摘要

论文指出分词研究文献中的三个迷思：BPB 并非与分词器和词表大小无关，未训练模型上 BPB 已偏好特定分词器；低 BPB 不等于更好模型，其与下游性能相关性弱；所谓分词器无关指标结果并不一致，unigram-normalized loss 与 BPB 的 0.989 相关性源于混杂因素，修正后降至 0.057。作者据此提出分词三难困境。

要点速读

1. 论文用未训练模型证明 BPB 会偏好某些分词器，此时模型并未学到东西
2. 在真实模型上，BPB 与下游性能仅弱相关
3. unigram-normalized loss 与 BPB 的相关性从 0.989 降至 0.057，且两者在不同模型规模下选出不同词表

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。