通过复用编码器状态实现大型音频语言模型的高效幻觉纠正
REVE: Efficient Hallucination Correction for Large Audio-Language Models via Reused Encoder States
精选理由
以复用音频编码状态低成本纠正模型幻觉，兼顾准确率与速度。
AI 摘要
大型音频语言模型可能会提及输入中不存在的声学事件。单独的音频事件检测器可以验证这些提及，但这需要第二个音频编码器和一次单独的前向传播。我们提出了用于验证事件的复用编码器状态（REVE）方法。该轻量级方法利用目标模型已经计算出的状态：一个读出模块汇总音频帧中的类别分数，另一个读出模块则使用来自四个连续帧区间的池化状态。通过类别感知的分数融合，结合两个模块的输出，无需再次对音频进行编码即可验证生成的事件提及。在 AudioSet 上，在满足忠实提及召回率约束的情况下，REVE 可移除 92.9% 的无标签支持提及。在增加参数更少且无需第二次音频编码的情况下，REVE 实现了与 CED-Tiny 和 CED-Base 相当的削减效果。其完整验证延迟约为 CED-Base 路径的 1/18。在受控的 DESED 混合数据以及不同目标模型架构上的结果进一步证实了复用编码器状态的有效性。