让 COMET 在不同文字系统间具有可比性：印度语言机器翻译评估中分词器所致文字系统偏差的诊断与校正

arXiv:2610.08159v1 公告类型：交叉发布 摘要：COMET 将翻译质量表示为单一分数，而人们经常在采用不同文字系统的目标语言之间比较这一分数。这种比较假定了文字系统不变性：分数不应取决于承载目标文本的文字系统。我们在 IndicMT Eval 上对此进行检验，将目标文本转写为拉丁字母，在保持内容和人工评分不变的同时改变其正字法形式。结果表明，文字系统的差异可解释原生文字系统下 COMET 分数方差的 22.9%，且在所研究的全部五种语言中，分数与标注者评分的一致性均有所下降。我们将这一效应追溯至分词器，并通过三项无需标签的诊断指标加以衡量。该偏差包含两个缺陷，而非一个：不同文字系统的分数处于互不兼容的范围内；在同一文字系统内部，该指标对译文的排序准确性也会降低。任何保持分数排序不变的变换都无法修复第二个缺陷。COMET-QN 则能彻底消除第一个缺陷，其方法是将每个（语言，文字系统）组合的分数分布映射到一个共享的参考分布。汇总后与标注者评分的一致性从 0.300 提升至 0.399，这使得不同文字系统的分数可以可靠地放在同一坐标轴上比较，同时可证明每种语言内部的排序均保持不变。基于对等性特征的回归器进一步恢复了已损失敏感度的 17.1%。剩余损失源于编码器，任何后处理都无法弥补。因此，我们建议公布归一化分数、三项诊断指标，以及计算这些指标时所用分词器的身份信息，以便读者判断一个分数有多少反映了翻译质量，又有多少反映了文字系统。