有限可验证分词：有限状态验证器判定

论文提出用有限状态验证器判定分词策略的若干性质。

资讯摘要

论文提出“有限可验证分词”概念：用标记串上的有限自动机只判断给定分词是否合规，而不负责生成分词。作者报告，在该假设下，窗口能否证明 token 边界、边界间隙是否有界、掩码是否保持生成可完成、两个策略是否等价这四个问题都可判定；该类恰为有理分词策略，并对流水线常用操作封闭。

要点速读

1. 论文定义有限可验证分词：有限自动机接受策略自身的分词，只做判定不计算分词。
2. 作者报告四个问题可判定：窗口能否证明 token 边界、边界间隙是否有界、掩码是否保持生成可完成、两策略是否等价。
3. 论文称该类对组合、限制、拆分和字节回退并集封闭，并以 maximal-munch、byte-pair encoding、WordPiece 为例，munch 库实现六项判定。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。