具备解剖结构感知的完整声道声学到发音器官反演跨说话人适配
Anatomy-aware cross-speaker adaptation of complete vocal-tract acoustic-to-articulatory inversion
精选理由
提出基于解剖标志点的跨说话人声道反演适配方法，无需重训即可提升泛化能力。
AI 摘要
跨说话人的声学到发音器官反演需要考虑说话人之间的解剖结构差异。我们提出了一种几何适配框架，利用主要位于椎骨和牙齿结构上的解剖标志点，将固定反演模型的预测迁移到未见过的说话人。该方法通过仿射变换结合薄板样条（TPS）形变，将10种声道结构的预测轮廓映射到每位目标说话人的几何结构中，无需重新训练模型。我们在每位说话人选取的一帧/u/中识别标志点，将其作为通用的语音学参考，同时不假设不同说话人具有完全相同的发音器官构型，并在不同录音之间复用所得映射。我们在单说话人的rt-MRI数据库上训练模型，并在另一个多说话人的rt-MRI数据库中的8位说话人上评估适配效果。我们使用12个或14个标志点比较仿射变换和TPS配置。Affine12+TPS14取得了最低的平均点到最近点误差，为3.19毫米。这些结果表明，解剖标志点信息与非刚性对齐的结合具有综合价值。