当更大变得更脆弱：为什么语言模型规模越大，压缩造成的损害越严重

量化和剪枝降低了语言模型的部署成本，但其影响通常以基准测试分数来报告。这类分数仅记录最终残留在输出端的损失。在模型内部，压缩对某些组件造成的损害比其他组件更大，而网络的其余部分可以进行一定程度的补偿。因此，观测到的损失同时反映了损害及其补偿，而基准测试分数无法将二者区分开来。二者如何共同作用，以及它们之间的平衡是否随模型规模而变化，目前仍不清楚。我们针对上下文内检索研究了这种补偿机制，这项能力由一小组可识别的注意力头承载。为区分损害与补偿，我们将消融这些注意力头所产生的预期损失精确分解为两部分：由网络其余部分弥补的损失，并将其归因于负责补偿的组件；以及传递至输出端的损失。随后，我们比较了不同规模模型的分解结果。对于程度相当的损害，较小模型能够弥补大部分损失，而较大模型的大部分损失仍然存在，因为随着模型规模增大，补偿响应所抵消的损失比例会降低。压缩这些注意力头也呈现出相同的模式。因此，在小模型中几乎无害的压缩，在大模型中可能造成高昂代价。