为巴斯克语开发语音语言模型

尽管近期 LLM 的发展为多模态交互铺平了道路，但少数语言在跟上这一进程方面仍面临困难。本研究介绍了首个面向巴斯克语的开源 Speech Language Model，旨在实现低延迟、端到端的语音交互。该系统基于 LLaMA-Omni 架构，集成 Latxa 模型作为骨干网络，并通过对多个模块进行微调，将其巴斯克语能力迁移到语音模态。为应对数据稀缺问题，研究人员将英语 VoiceAssistant-400K 语料库翻译成巴斯克语，并使用巴斯克语 TTS 合成音频。评估结果证实了该系统的可行性：内容质量得分为 3.86/5，语音可懂度的 WER 为 9.94%，音频质量的 UTMOS 为 3.07。本研究表明，即使对于低资源语言，也可以利用模块化架构和合成数据开发先进的语音交互系统。