LAST：Looped Audio Spectrogram Transformer

arXiv:2610.01926v1 公告类型：cross 摘要：增加 Transformer 模型的深度可以提升识别性能，但代价高昂。每增加一层都需要更多参数，从而导致计算过程效率低下。我们探讨了这样一个问题：额外的处理是否可以专注于整合已经计算出的特征。Looped Audio Spectrogram Transformer（LAST）首先处理所有 token，随后在固定的音频特征上复用相同的模块，仅对类别 token 进行细化，从而使后续轮次的计算成本较低。在 AudioSet 上，进行十轮处理的 LAST 达到 0.345 的平均精度均值，相较于十二层顺序 Transformer，性能相对提升 2.1%，参数量减少 49.4%，乘加运算减少 42%，实测吞吐量提高 9.8%。在分别训练的模型中，将处理轮数从两轮增加到十轮可以提升准确率，而计算量仅增加 1.2%。进一步评估表明，该方法对时间掩码及各种其他听觉增强具有更强的鲁棒性，并且在音乐、环境音和事件声音分类任务上表现出更好的泛化能力。