线性探针能证明线性表征吗？

arXiv:2610.22655v1 公告类型：cross 摘要：线性表征假设认为，预训练视觉模型将生成因素编码为特征空间中可线性解码的方向，并配套一种标准方法：训练一个线性探针，若准确率较高，就认定某个因素得到了表征。我们表明，这一检验过于宽松。从渐近角度看，任何足够丰富的特征映射（包括随机特征映射）都允许进行线性读出，因此较高的探针准确率可能对应两种截然不同的几何结构：一种是真正的线性世界模型，其中与潜变量对齐的子空间主导着表征；另一种是核机器，其中潜变量以线性方式嵌入一个更大的弯曲流形。这一区分十分重要，因为与探针正交的弯曲结构会影响分布外泛化、鲁棒性和组合迁移。我们提出了三种具有非对称性的诊断方法来区分这两种情况：反向可预测性、谱集中度和分布外泛化。我们在一个完全观测且已知真实情况的模拟环境中验证了这些方法。将其应用于 SVG-World 上的六个预训练视觉 Transformer——SVG-World 是一个具有成对视觉风格的确定性生成基准——以及 CelebA 上的其中两个模型，结果表明，预训练产生的结构超越了随机核，但远未达到线性世界模型的程度。在 dSprites、3D Shapes 和 MPI3D 上，前向可解码性与潜变量对齐方差彼此分离。因此，仅凭前向解码并不能说明所探测的因素与表征的主导几何结构相对齐。总之，相较于真正的线性低维表征，我们的工作提醒人们应谨慎看待线性探针所取得的成功。