AnchorPrompt：面向鲁棒音频语言模型的自蒸馏软提示

arXiv:2610.00706v1 公布类型：cross 摘要：大型音频语言模型（LALMs）容易受到输入扰动的影响，例如噪声、波形损坏和对抗性注入。我们提出了 AnchorPrompt，这是一种高效的适配方法，可保持模型参数冻结，并学习一个插入解码器输入中的单个提示向量块，位置处于音频嵌入和问题嵌入之间。我们通过在多样化的音频和文本扰动上进行自蒸馏来训练这些向量。为提高答案一致性并减轻幻觉，对于可回答的输入，我们使用模型在干净录音上的预测作为目标；当音频缺乏足够证据来回答时，则指定拒答目标。此外，AnchorPrompt 在推理时与扰动类型无关，无需事先检测扰动，并能够零样本迁移到未见过的失真。我们在三个基准测试上评估了三个 LALMs，结果表明，AnchorPrompt 在大多数测试条件下都能提升答案一致性。在九个模型—基准测试组合中，有六组的干净数据准确率得到提升，其余组合受到的影响极小，最多仅下降 1.2%。尤为重要的是，AnchorPrompt 能在严重音频损坏的情况下减少幻觉，同时保持干净音频上的错误拒答较为少见。最后，这些一致性提升能够迁移到未见过的扰动，例如选项排列和混响。