Universal Byte-Level Encoding：通过 UTF-8/UTF-16 路由减少跨文字体系的 Token 预算差异

arXiv:2610.01984v1 公告类型：cross 摘要：字节级字节对编码（BBPE）分词器对多语言大型语言模型（LLM）很有吸引力，因为它们能够覆盖所有 Unicode 文本。然而，在基于 UTF-8 的 BBPE 中，许多文字体系的起始回退成本高于英语：当无法应用任何已学习的合并规则时，一个多字节字符需要多个源自字节的符号。我们将这种合并前的最坏情况成本称为编码下限。更高的编码下限可能增加 Token 数量和每次请求的成本，并缩小可用上下文。改变文本编码可以缩小这一差距，但在混合文字文本中，单一的全局编码可能会使原本高效的英语片段变得更加昂贵。我们提出 Universal Byte-Level Encoding（UBE），一种双字母表分词器：对 1—2 字节的 UTF-8 字符保留 UTF-8 路径，同时将 3—4 字节的 UTF-8 字符通过 UTF-16 进行路由。对于 Token 溢价较高（相对于英语的 Token 数量）的文字体系，这种方法降低了 3 字节基本多文种平面（BMP）字符的编码下限，同时不会提高混合文字文本中原本高效片段的编码下限。UBE 只改变呈现给字节对编码（BPE）的字节表示；合并规则仍保持标准形式，并且能够保留精确解码。UBE 还可与其他边界策略和基于形态学的表示方式组合使用。在 Unicode 17 审计中，UBE 能够对所有 Unicode 标量值以及官方规范化、字素边界和表情符号测试套件中的所有输入实现精确往返转换。在各项内在评估中，UBE 降低了英语归一化 Token 数量比率的离散程度，从而减少跨语言 Token 预算差异。在多语言语言模型（LM）实验中，UBE 的语言模型质量与 BBPE 相当。在主要的多语言设置中，UBE 对高溢价文字体系的 Token 数量降低幅度最大，并略微降低英语 Token 数量，因此在固定 Token 预算下提供更多可用上下文，并在内容匹配的基准测试中加快提示词处理速度。