选择性聆听：大规模音频-语言模型中音频影响的机制引导控制

arXiv:2610.11196v1 公告类型：cross 摘要：大规模音频-语言模型（LALMs）会利用多模态证据，但在无需聆听时，与任务无关的音频仍可能改变文本推理决策。总体准确率可能掩盖这种配对漂移，因为音频带来的修正与损害可能相互抵消。配对漂移分析与针对性干预确定了特定于架构且对干预敏感的后期音频路径，并将其识别为可操作的控制点。我们提出 ICAP-Gate，对每个模型的路径实施机制引导、任务条件化的控制。在四个 LALMs、两个推理基准，以及环境声音和自然语音干扰的评测中，ICAP-Gate 在全部 16 个完整划分的模型—条件评估中，其 Influence Rate 和 Answer Flip 的点估计均低于未门控推理。固定抑制会导致四个模型的自动语音识别（ASR）性能均下降，而 ICAP-Gate 通过在明确要求音频的指令下保留该路径，使 ASR 性能达到与未门控推理相当的水平。在全部四种评估设置中，ICAP-Gate 的配对漂移点估计均低于缓解式提示；相较于使用八个样本的 Self-Consistency，它在每次查询仅生成一次的情况下提供了具有竞争力的稳定化效果；在受控的 ARC 测量中，Self-Consistency 的延迟为未门控推理的 $7.0$--$9.2\times$。这些结果确立了选择性模态影响控制这一稳健多模态推理的设计原则。