AdaLoop：面向音频语言模型的自适应深度潜在推理

arXiv:2610.06949v1 公告类型：交叉收录 摘要：大型音频语言模型能够回答有关语音、声音和音乐的问题，但在需要细粒度声学分析的任务上，其准确率会急剧下降。判断两名说话者中谁的音高更高，需要在信号层面进行迭代推理，而回答内容相关问题则不需要。当前模型却对这两类问题使用相同的计算深度。我们提出 AdaLoop，这是一个轻量级循环模块，能够学习给定音频—问题对需要多少步潜在表示细化。在问题的引导下，一个共享的 Transformer 块对音频表示进行迭代处理，同时，一个通过学习得到的停止机制会在表示就绪后退出循环。AdaLoop 新增的参数量不到基础模型参数量的 3%，无需修改音频编码器或语言模型，即可接入任意音频编码器—语言模型组合。我们在 MMSU、MMAU-Pro 和 MMAR 上对三种架构不同的模型进行了评估，结果表明，AdaLoop 将平均准确率提高了 2.9 至 3.8 个百分点，其中提升最大的是高度依赖感知的子任务，模型在这些任务中学会了进行更深层次的推理。