通过显式的多对多层映射学习跨模型激活对齐

arXiv:2610.09058v1 公告类型：新 摘要：LLM 发布速度迅猛，这引出了一个自然问题：两个独立训练的模型之间有何联系？具体而言，它们在哪些层上相对应，以及特征如何在二者之间变换？我们通过学习激活对齐来研究这一问题，即将源模型的逐层激活映射到目标模型。我们的方法 MATCHA 将这一映射分解为层映射和隐藏空间之间的层共享特征映射。层映射的输出是一个显式的目标层×源层矩阵，可以提取并检查。以往大多数工作会预先固定层对应关系，按照大致相同的相对深度配对层；相比之下，我们根据提示联合学习这两个因素。在涵盖三个不同模型家族的七个模型的 42 对组合上，相较于以往方法，MATCHA 能更忠实地重建目标模型的激活，并显著提升基于检索的指标。恢复出的映射在深度方向上总体呈单调性，但不同于以往大多数方法，它们始终是多对多的：每个目标层都会利用一段源层的信息。我们的对齐还支持激活空间干预的迁移，使得为一个模型开发的 steering vectors 和 probes 能够迁移到另一个模型。