通过基于梯度的归因扩展上下文感知机器翻译中的注意力头分析

本文提出了一种基于梯度的注意力头归因策略，将 Token-level Max-Margin 损失反向传播至注意力图。该框架能够对注意力头进行大规模因果分析，因此适用于 LLMs。我们在上下文感知机器翻译中的消歧任务上评估了该方法，分析了 4 个模型、4 个语言方向中的 50 种现象。我们在 3 个模型和 2 个语言方向上通过实验证明了该方法与提升词元间关系注意力分数所产生的效果相一致，从而验证了该方法的稳健性。我们的分析揭示了“通用型”注意力头的存在：当关注不同关系时，这些注意力头能够提升模型性能。我们发现，一个注意力头分配给某种关系的平均注意力不一定与模型性能相关，这表明模型在训练过程中就注意力头的功能形成了冗余。