作为几何学习器的视频生成模型

近期用于几何估计的生成式方法会适配预训练的图像扩散模型，并将该任务视为以图像为条件的生成。借助现成的图像扩散模型，它们要么 (i) 分别训练面向特定任务的几何模型（用于深度和表面法线估计），从而失去探索这些几何目标内在相关性的机会；要么 (ii) 联合微调经过修改的图像扩散主干网络（例如改动自注意力），而这通常需要大量标注数据。为以一种原则性方式克服这些局限，我们将预训练的视频生成模型重新用于几何估计，构建为一个统一且数据高效的框架，并创新性地将其表述为下一帧预测任务。我们的方法 GeoNeXt 自然继承了视频模型中结构化的知识和更丰富的先验，同时进一步将其适配到图像与几何目标的联合建模（image <-> geometry），从而实现更高效、更有效的几何学习。大量实验验证了我们的方法在多个数据集上的零样本单目深度和表面法线估计能力，在使用显著更少训练数据的情况下，优于以往的特定任务方法和统一生成式方法。值得注意的是，我们的方法可与训练时使用超过 100 倍更多数据的判别式最先进方法相媲美，并且在多个基准上表现突出。