SMART：基于上下文评估准则的识别转写语义片段映射与评估

词错误率（WER）尽管词汇编辑会产生不同的语义后果，却对它们赋予相同的代价；而整体语义评分则无法识别哪些单独的错误会改变原本意图。我们将ASR语义评估定义为一种具备上下文感知能力的片段级后果评估，并提出基于上下文评估准则的识别转写语义片段映射与评估（SMART）框架，用于可追溯的语义评估和针对性的ASR纠错。SMART将参考文本与假设文本之间的差异映射为连贯片段，并应用结构化的上下文评估准则，为其分配明确的后果标签。这些标签支持语义影响错误率（SIER），能够在话语、分块和词汇三个层面量化具有后果的错误。与多数投票的人类标注相比，SMART取得了0.843的F1分数，而直接进行LLM判断的得分为0.745。在多个LLM上的评估进一步表明，SMART对评估模型的选择相对不敏感；与此同时，MER和SIER揭示了ASR质量的不同方面。另一种不依赖目标参考文本的评估准则利用目标假设及其周围的ASR假设来指导纠错；与匹配的w/o Rubric基线相比，该方法在两个数据集上均表现更优，并使MER和SIER_lex分别进一步绝对降低0.85–0.98个百分点和1.18–1.65个百分点。