X-AuT：面向语音大语言模型的跨尺度蒸馏渐进式音频编码器压缩

降低音频编码器深度可以减少语音大语言模型的推理成本，但移除完整模块会扰动解码器所使用的嵌入，并可能导致删除错误和过早结束序列错误。我们提出 X-AuT，这是一种渐进式框架，通过短行为探测选择层组合，并结合表示对齐、跨尺度蒸馏、定时的学生策略监督以及 LoRA 微调来恢复剪枝后的模型。语言模型主干保持冻结，同时在蒸馏过程中调整注意力 LoRA 适配器和绑定的输出嵌入。训练采用转录一致性流程中一致性最高的数据层级，随后在微调阶段进行数据源重加权。在十个公开的中英基准测试上，将 Qwen3-ASR-0.6B 的音频编码器从 18 层压缩至 16 层后，宏平均错误率从 5.61% 降至 5.27%。14 层模型在音频塔参数减少 20.7% 的情况下达到 5.75% 的错误率。在匹配的训练方案下，1.7B 教师模型的平均错误率为 5.55%，而自蒸馏为 8.45%；渐进式 18$\rightarrow$14 剪枝优于直接剪枝（5.75% 对比 6.73%）。这些单次运行结果确立了两个实用的工作点，并表明准确率影响会因基准测试而异。项目网站：https://xpeng-ai.github.io/x-aut