关于涌现能力与模型合并

arXiv:2609.24504v2 Announce Type: replace 摘要：如今，经过微调的检查点和适配器充斥着公共代码仓库，而针对这些产物最常见的操作是模型合并：对它们的权重进行算术运算，以低成本组装各种能力。我们探究这一操作会如何影响涌现能力，即某个产物具备、但从未被明确设为训练目标的行为。我们在三个模型系列中的两个相互独立的测试平台（激活预言器和涌现失调模型）上进行研究，发现答案包含三个方面。第一，合并会保留两个父模型都具备的涌现能力：将两个失调检查点合并后，在整个混合范围内仍能保留其大部分广泛失调特征。第二，合并无法创造出在父模型中呈超加成效应的涌现能力：对两个单任务预言器进行加权合并，其审计能力都无法达到联合训练预言器的水平。第三，当只有一个父模型具备某种能力时，合并对该能力的稀释速度快于对与之相伴的训练所得能力的稀释速度：在大多数设置下，这一差距都十分显著。简而言之，产物的涌现行为并不会像其训练所得能力那样实现组合。