相对表示使跨语言模型的可移植白盒监测成为可能

arXiv:2610.28366v1 公告类型：new 摘要：独立训练的自回归语言模型通常会获得相似的能力，但人们仍不清楚它们的内部表示是否以兼容的方式组织与行为相关的信息。我们通过使用作用于兼容表示的特定行为探针，证明模型确实会以相似的方式组织信息。这使可移植的白盒监测成为可能：在一个模型上开发并验证的探针，可以在模型发生变化时重复使用，而无需目标模型的标注数据。为克服原生激活坐标之间的不兼容性，我们通过每个样例到一组共享锚点的角距离来表示该样例。我们提出一种全局锚定构造，汇总所有 Transformer 层的信息，并消除对特定模型层选择的依赖，从而可以将同一个冻结探针直接应用于另一个模型。我们在问答数据集、安全监测和数学推理等监测任务上评估了跨模型探针迁移效果。平均而言，迁移后的全局锚定探针在高于随机水平的部分保留了同模型探针 AUROC 的至少 85%。锚定探针还支持迁移到相关数据集，在不同模型规模和提示词变化下保持稳健，并且在模型更新后比标准探针更好地保持性能。然而，迁移效果仍取决于任务和目标模型；即使所监测属性在目标模型中仍然能够被强力解码，迁移也可能失败。总体而言，全局锚定揭示了独立训练模型之间在任务相关方面存在显著的兼容性，并为可移植的白盒监测提供了实用基础。