论文提出SOL指标，用于衡量文本分布间距离
资讯摘要
论文提出SOL，一种衡量文本分布之间距离的指标。该方法用固定transformer对每条序列的隐藏状态取经验测度，再用双重切片Wasserstein距离比较这些测度分布；作者证明当transformer为单射时SOL是度量。论文报告实验显示SOL能检测分布性失败、还原预期模型趋势并给出稳定的基于样本的估计，作者用它重新评估了在OpenWebText上训练的多种模型。
要点速读
- SOL将每条序列表示为固定transformer下隐藏状态的经验测度，并以双重切片Wasserstein距离比较分布
- 作者证明若transformer为单射，则SOL满足度量性质
- 论文报告SOL可检测分布性失败、还原预期模型趋势并提供稳定的样本估计，并用于重新评估OpenWebText上训练的多种模型
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。