用于消除语言模型捷径的反事实测试时增强

大型语言模型（LLMs）可能利用捷径，即训练数据中存在、但在测试时可能不再成立的相关性。当相关性发生变化时，这可能导致预测表现不佳。现有的大多数捷径消除方法在训练阶段发挥作用，需要带标签的训练数据、模型权重访问权限以及大量计算资源。在本文中，我们研究测试时的捷径消除问题。我们提出了一系列反事实测试时增强（CTTA）方法：给定一个样本，每种方法都使用辅助模型生成改变捷径取值的反事实编辑版本，然后对 LLM 在这些编辑版本上的预测进行加权平均。我们证明，最优的捷径不变预测器属于这一 CTTA 方法族，并刻画了其权重。这些权重依赖于训练分布，因此通常无法仅凭训练好的模型和无标签测试数据来识别。不过，我们给出了一些假设，在这些假设下，可以利用训练好的 LLM 的词元概率来获得权重，并提出了用于检测这些假设是否被违反的检验方法。我们利用这些检验方法开发了 Select-CTTA，这是一种在 CTTA 方法中进行选择的聚合方法。实证结果表明，Select-CTTA 优于测试时基线方法，并接近在捷径均衡数据上微调的模型的性能。