Gabor Gabor：E-Gaborformer，一种采用 Gabor 字典卷积和 Delta 规则记忆的严格因果语音识别器

arXiv:2611.08092v1 公告类型：新论文 摘要：实时语音智能体需要一种既不等待未来音频、每次通话的内存占用也不随通话时长增长的语音识别器。我们提出 E-Gaborformer，这是一种严格因果编码器，将 Gated DeltaNet-2 循环层与滑动窗口注意力按 3:1 的比例组合，并基于固定的因果 Gabor 原子字典构建所有时域卷积。其流式状态占用保持恒定：在生产规模下，计入预测网络后，每次通话约占用 19 MB；而同等规模的因果注意力编码器在十分钟后会累积超过 1 GB 的内存占用。在 LibriSpeech 上开展的受控因果设置实验中，E-Gaborformer 更早脱离初始平台期，达到给定准确率所需的时间最多缩短 18%，且性能持平或优于采用完全相同的前端和训练方案训练的 E-Branchformer。在生产规模下，基于 E-Gaborformer 构建的 6 亿参数希伯来语和英语流式转导模型，在英语语音智能体流量上的词错误率（WER）比 NVIDIA 的同等规模模型 Nemotron 3.5 ASR Streaming 低 28% 至 31%，希伯来语 WER 则比我们此前的生产系统最多低 20%。同一组权重可同时用于严格因果解码和前瞻 480 毫秒的解码，且准确率无损失；此外，将 RNN-T 格结构表述为二分类形式，可在保持损失和梯度精确的同时，使转导模型的训练速度提升至 2.6 倍。