关于涌现能力与模型合并

微调检查点和适配器如今充斥着公共代码库，而应用于这些产物的最常见操作是模型合并：对其权重进行算术运算，以低成本组装能力。我们探究这一操作会对涌现能力产生什么影响：即某个产物所具备的、从未被明确作为训练目标的行为。通过在三个模型家族中研究两个独立的测试平台（激活预言机和涌现失准模型），我们发现答案分为三方面。首先，合并会保留两个父模型都具备的涌现能力：合并两个失准检查点会在整个混合范围内保留其大部分广泛失准特性。其次，合并无法创造出相对于父模型具有超加性的涌现能力：两个单任务预言机的任何加权合并都无法达到联合训练预言机的审计能力。第三，当只有一个父模型具备该能力时，合并会比其伴随的已训练能力更快地稀释该能力：在大多数设置中，这一差距都很显著。简而言之，某个产物的涌现行为并不像其已训练能力那样进行组合。