相同 CER，不同损害：用于 OCR 的严重程度加权字符错误率

字符错误率（CER）是 OCR 和视觉语言模型（VLM）的标准评估指标，但它对一个拼写错误和一个姓名错误赋予相同的代价。我们提出 semCER，保留 CER 的对齐方式和分母，并由 LLM 评判器为每次字素编辑赋予严重程度代价，无需分词。归一化 CER 用于衡量整篇转录文本，其与读者评价的一致性不逊于 semCER，甚至更好；而 semCER 则将该分数分解为具体的编辑项。在英语、越南语和中文中，各项编辑的代价与读者逐项给出的评分一致，并能将读者认为最严重的编辑排在排序列表的前列。在从 CER 与 semCER 判断不一致的情况中抽取的成对样本上，英语和中文读者认同 semCER 的频率高于归一化 CER，而越南语读者认同两者的频率相同。在涵盖的 16 种语言中，评判器对西班牙语中错误的变音符号或声调标记几乎不赋予代价，但对泰卢固语中的此类错误赋予的严重程度却接近字母错误。在能够统计真实词的语言中，通用 VLM 的字母错误形成真实词的比例远高于随机水平，而传统流水线的相应比例则接近随机水平。我们在 https://github.com/nguyenx2t/semcer 发布了经评判的 6100 万次编辑、汇总后的读者评分以及蒸馏得到的评分器。