多语语音模型中的音系干扰

arXiv:2610.11275v1 公告类型：cross 摘要：音素级模型将语音转写或生成为音素序列，音素是能够区分词语的最小声音单位。这些模型能够实现细粒度的发音控制与理解，但对于不符合任何单一训练语言的输入往往表现不佳，例如两种语言交替出现的语音（称为语码转换），或训练数据中未包含的低资源语言。我们发现了其背后的一种系统性失效模式，即音系干扰：模型假设输入仅属于一种语言，并强行施加该语言的音系规则，覆盖与所假设语言相冲突的局部音素级决策。我们通过模型保留某种语言拥有而另一种语言缺少的音素的频率来衡量干扰程度。在语码转换输入上，两个音素识别器（语音到音素模型）和一个以音素为条件的文本到语音模型会丢失其中32%至79%的此类音素，但对于两种语言共有的音素，丢失情况少得多。在未见过的语言上，我们发现音素识别器会施加其判定语音所属的训练语言的音系规则；这种判定越有把握，它丢失未见语言拥有而被判定语言缺少的音素就越多。我们从模型的内部激活中探查其语言估计，并将干扰追溯到一个低维子空间。在单语语音上，将该子空间引导至另一种语言，会使模型丢失原语言独有的音素，并生成目标语言独有的音素。我们提出窗口化语言估计（WLE），这是一种推理时修复方法：用根据每个位置周围的短窗口计算出的语言估计，替换模型在该子空间中的语言估计。在语码转换输入上，WLE能够在全部三个模型中消除34%至69%的干扰；对于识别器而言，它基本不会改变单语语音上的性能。