COFFEQA：用于大语言模型问答的反事实引导少样本蒸馏

arXiv:2610.12837v1 公告类型：交叉收录 摘要：知识蒸馏旨在训练较小的学生模型，使其模仿较大的教师模型，以适用于资源受限的环境。然而，蒸馏过程通常需要大量数据，且计算成本高昂，尤其是对于生成式任务。少样本蒸馏提供了一种替代方案，通过有限的训练样本迁移教师模型的知识。然而，我们观察到，少样本蒸馏的性能在很大程度上取决于这些训练样本的选择。事实上，我们证明，使用教师模型决策边界附近不确定性更高的样本，会显著降低蒸馏性能。受此观察启发，我们提出了用于开卷问答的反事实引导少样本蒸馏方法（COFFEQA）。这是一种新策略，能够巧妙利用反事实，为具有挑战性的事实样本提供额外监督。在生成式问答场景中，我们将反事实定义为经过最小幅度修改的上下文，该上下文会促使教师模型将其回答改为另一个答案。我们从几何角度阐释了事实—反事实样本对如何约束教师模型与学生模型决策边界之间的偏差。我们还引入了一项新指标——上下文遵循难度（CFD），根据回答与预期替代答案的一致性，以及对修改后上下文的依赖程度，在蒸馏前进一步验证反事实。COFFEQA 使用经 CFD 验证的事实—反事实样本对进行少样本蒸馏。采用 T5 和 Qwen2.5 系列模型，在五个域内和三个域外问答基准上开展的实验表明，在相同的少样本预算下，COFFEQA 优于仅使用事实样本的蒸馏基线。例如，在 TriviaQA 上，使用 T5 模型和 32 个少样本对时，COFFEQA 相较于仅使用事实样本的基线，平均 EM 分数提高了 8.77 分，平均 F1 分数提高了 9.98 分。