NOPE-HYPE：面向多样声学环境的鲁棒语音转文本结构化模拟工作流
NOPE-HYPE: A Structured Simulation Workflow for Robust Speech-to-Text Across Diverse Acoustic Environments
精选理由
深度 86 / 新颖度 78，来自 arXiv cs.AI。
AI 摘要
鲁棒的语音转文本系统应能在多样的声学条件下可靠运行，但实际工作流缺乏可控工具来系统地探索不同环境。大型语音模型仍然容易受到未见过的声学条件影响，因为训练数据很少覆盖真实环境的全部范围。我们提出 NOPEHYPE，这是一种结构化训练工作流，将可控环境模拟器、基于功率谱密度（PSD）模板的覆盖率最优环境缩减，以及针对模拟器控制参数的小规模可解释超参数搜索相结合。我们表明，在 Whisper 和 SeamlessM4T 模型上，模拟器生成的噪声能够达到与均衡真实噪声训练相当的性能；同时，我们提供了具有原则性的环境原型集合，并通过结构化的 27 次运行超参数扫描确定了实用的模拟器默认配置。