AccentCL：通过增量扩展实现鲁棒的口音分类

arXiv:2610.07426v1 公告类型：cross 摘要：口音分类器通常在固定的标签集合上进行训练，无法随着新数据的获取而纳入新的口音类别。此外，由于不同语料库之间的录音条件存在差异，带口音的语音语料库往往表现出明显的类别不平衡和/或域偏移。我们提出了 AccentCL，这是一种用于英语口音分类的类增量学习框架，能够应对类别不平衡和跨语料库域偏移问题。AccentCL 从冻结的 Whisper-Large-v3 编码器中提取多层表示，并采用具有不平衡感知能力的交叉熵损失来减小对多数口音类别的偏置，同时使用域均值对齐损失，最小化不同训练语料库之间的分布均值偏移。随后，模型通过基于回放的持续学习扩展标签空间：利用冻结的基础模型保留知识，并采用旧类到新类的间隔损失，减少对新增类别的过度预测。在一个五类别口音分类任务中，AccentCL 达到了 77.1% 的平衡准确率和 76.9% 的宏平均 F1 分数。我们进一步评估了该模型增量纳入两种新口音类别的能力：西班牙口音英语和中文口音英语。在预训练模型中加入西班牙口音英语后，AccentCL 在新类别上的 F1 达到 83.3%，同时在基础类别上保持 77.3% 的平衡准确率。随后加入中文口音英语时，模型在新类别上取得 61.8% 的 F1，同时在此前学习的类别上保持 77.6% 的平衡准确率。这些结果表明，AccentCL 能够实现鲁棒的地域口音分类，并且无需完整重新训练即可添加新的口音类别。