Stride-k 子采样：用于 Whisper 的免训练音频 Token 减少

Whisper 通过一个固定的 1500-token 编码器接口来表示语音，如今已成为 ASR 解码器和基于 Whisper 的语音语言模型（SpeechLMs）的默认表示，但其冗余性在很大程度上仍未被检验。我们提出 stride-k 子采样，这是一种确定性的索引操作，在卷积 stem 或 encoder transformer 之后保留每第 k 个 token。在五种 Whisper 规模上，k=2 在这两个位置都能保持基线 WER，CKA 将这种稳定性归因于 stem 处的声学重叠以及 encoder 输出处由 attention 引起的重分布。在这两个位置都应用 stride-2 可将音频 token 减少 75%，并将总 GFLOPs 降低 52-58%，在大多数 ASR 基准上仅带来较小的 WER 代价，而在更困难的基准上代价更大。相同配置也扩展到了三种基于 Whisper 的 SpeechLMs，在较强基线上的准确率下降较小，在较弱基线上的下降较大，同时将端到端延迟降低 19.6-27.4%。由于无需训练或辅助计算，stride-k 子采样利用了 Whisper 的预处理冗余，表明其音频 token 接口所承载的容量超过了下游任务所需。