arXiv cs.AI精选79

选择还是改写:面向 N-Best 候选的 Oracle 引导生成式 ASR 后编辑微调

Select or Rewrite: Oracle-Guided Fine-Tuning for Generative ASR Post-Editing from N-Best Hypotheses

· 3天前

精选理由

深度 91 / 新颖度 84,来自 arXiv cs.AI。

AI 摘要

大型语言模型可以利用语言上下文比较 N-best 候选,并在需要时改写转写文本,从而在无需重新训练识别器的情况下,通常改善 WER。然而,仅依赖提示词的纠错方式较为脆弱:当 top-1 结果正确时可能过度编辑,在参考答案不在候选列表中时可能产生幻觉,而且往往需要规模非常大的模型。我们提出了一种 Oracle 引导的微调方法,通过三个经过筛选的数据池,将 N-best 列表转化为监督信号:纠错样本(参考答案在列表中但不在 top-1 中)用于教授选择,正则化样本(top-1 正确)用于抑制不必要的改写,以及困难负样本(参考答案不在列表中)用于抑制幻觉。在这些数据上进行微调,对于学习混合式“选择或改写”策略而言,比随机子集微调提供了更有效的监督;在专有数据集上,从约 3B 参数规模的模型开始即可观察到最明显的收益,但在 CommonVoice 上的结果则不太确定。这种差异表明,公开的朗读语音文本可能与 LLM 的预训练数据存在重叠,从而掩盖了真实的后编辑收益。

查看原文(arXiv cs.AI)