预训练语料的词汇对齐程度可预测零样本准确率。
资讯摘要
论文提出词级一元交叉熵（UCE），一种与分词器无关、无需模型的指标，用于衡量预训练语料与基准目标之间的词汇对齐程度。作者在固定训练配方、改变语料的受控预训练中，覆盖10个零样本基准、4个预训练语料和3种模型规模，发现UCE越低（对齐越高）的语料对应更高的零样本准确率。文档级筛选与提示级路由实验也报告了与该机制一致的准确率和吞吐变化。
要点速读
- 论文提出UCE，作为衡量参考语料与目标基准词汇对齐的免模型指标。
- 受控实验覆盖10个零样本基准、4个预训练语料和3种模型规模，UCE与各基准零样本准确率一致相关。
- 按基准词汇对齐筛选训练文档，以及按提示路由到领域更对齐的草稿模型，分别报告了准确率与吞吐收益。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。