解码器越少，编码器越强：从新视角合成中学习几何表征
Less Decoder is More Encoder: Geometric Representation Learning from Novel View Synthesis
精选理由
介绍SNAP如何通过精简解码器学习稳健几何表征，提升多视角任务表现。
AI 摘要
本文考察了新视角合成（Novel View Synthesis，NVS）在几何表征学习中的作用。原则上，新视角合成应当对三维场景结构进行推理，从而获得具有迁移能力的多视角几何表征。然而，现有基于编码器的新视角合成方法所学习的表征效果较差。这并非因为监督信号不足，而是源于一些不易察觉的架构选择：具有强空间表达能力的解码器会削弱场景编码器的表征能力，而低层次的像素空间目标则会阻碍特征学习。我们提出了 SNAP，一种自监督编码器—解码器 Transformer，通过姿态条件化的局部解码器和潜空间重建目标同时解决这两个问题。SNAP 与具体任务无关，我们表明，其性能可与专门设计的几何监督方法相媲美。在视觉定位、姿态估计、点对应、深度估计和机器人操作这五项任务上，SNAP 的表现也具有与自监督表征相竞争的水平。值得注意的是，尽管计算量和数据预算更低，SNAP 的图像块特征仍展现出逐渐形成的视角不变性，其效果接近高度监督的模型。在标准二维表征失效的相机位移场景下，SNAP 的性能下降更加平缓，这表明限制解码器的表达能力能够主动防止可迁移几何结构受到抑制。https://snap-nvs.github.io