共享线性映射能走多远？探究图像编辑的特征空间可操纵性

arXiv:2605.11203v2 公告类型：替换 摘要：理解图像空间变换如何体现在模型的内部表征中，是表征分析领域长期以来的目标。以往研究表明，几何变换通常可以通过特征图之间学习得到的线性算子来捕捉，但这种方式能否扩展到光度、局部以及语义定义的编辑，仍不清楚。我们训练了容量逐步提升的探针，范围从空间共享线性映射，到非线性逐向量模型、感受野模型和全局 Transformer 模型，用于预测几何变换、光度编辑、遮挡以及由扩散模型生成的语义编辑所引起的特征空间变化。在 ConvNeXt、SwinV2 和 DINOv3 上，对于有监督的主干网络而言，单一的共享线性映射通常能够以几乎不逊于表达能力强得多的探针的效果，预测留出数据中的操纵结果；这种充分性通常会随网络深度增加而提升，但在 DINOv3 上这一规律不太一致。这些结果表明，一个简单的空间共享线性算子通常足以表示多样的图像操纵，而其主要奇异分量捕捉语义内容，更高秩的分量则主要用于细化图像细节。我们将这些发现界定为预测意义上的表征充分性，而不是内在的线性特征空间几何结构的证据。