资讯摘要
文章介绍即将发布的VocabX论文预览结果：作者以基于Qwen3-4B的葡萄牙语作文评分器为例，指出通用词表会把领域高频文本切碎，并携带大量无用词条；由于解码阶段受内存带宽限制，生成token的成本高于读取。作者按每个token的成本而非词频重建词表，在基座模型、数据和训练配方不变的情况下，测得推理成本降低77%。
要点速读
- 评分器基于Qwen3-4B，原词表有151,669个词条，输出层约152,000行，经VocabX后降至约65,000行。
- 作者称在该评分器中，生成一个token的成本是读取一个token的7.4倍，该比例随硬件、批大小、上下文长度等因素变化。
- 论文仍在评审中，文中数字可能变动；VocabX通过子词合并和固定预算内的宏控制词表规模。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/22 08:00:25（北京时间）。