TACTICS：分类体系感知的机器翻译智能语料采样

arXiv:2609.17956v2 发布类型：replace-cross 摘要：大规模机器翻译（MT）系统通常在语料库的随机样本上进行评估，而语料库的分布构成往往只是其构建方式所造成的结果。这样的样本继承了语料收集过程中碰巧包含的现象，而不是系统必须处理的完整现象空间；这些现象既包括术语、标点、货币格式等受规则支配的惯例，也包括语气、敬语、文档级连贯性等依赖上下文的现象，因此无法为稳健性评估提供覆盖保证。我们提出 TACTICS（Taxonomy-Aware Coverage-opTimized Intelligent Corpus Sampling），将覆盖范围重新定义为一个明确的优化目标。TACTICS 从本地化风格指南中构建分层分类体系，根据该体系对语段进行分类，并在固定预算下联合优化稀有类别的覆盖率、文档级连贯性以及与完整语料库的分布保真度。在四个翻译方向的机器翻译评估中，与基于词汇和嵌入的选择方法相比，TACTICS 提高了稀有类别的覆盖率。通过针对区分不同系统的现象，TACTICS 让固定的评估预算发挥更大作用：只要存在真实的质量差距，就能用远少于随机采样所需的语段数量恢复系统的真实排名；而在不存在差异时，也绝不会错误地表明存在差异。