GoDeep：通过语言空间提升实现无标注开放词汇三维场景理解

开放词汇三维语义分割方法通常会将 CLIP 特征提升到三维空间中。这会将点嵌入到一个联合视觉—语言空间，而已知该空间在组合任务中的表现类似于词袋模型。此外，即使是无需标注的变体，通常也需要大规模三维训练语料库，以及针对每个领域专门设计的三维编码器。与之不同的是，我们仅将视觉—语言模型用作翻译器。它会为每幅具有位姿信息的图像生成结构化的实体级描述。这些描述随后被直接在通用的纯语言嵌入空间中进行定位、投影和聚合，无需三维训练语料库或编码器。在 ScanNet++ 上，我们的流程性能可与在 ScanNet 上训练的强大无标注基线相媲美。在一个包含五栋建筑的文化遗产基准上，原始得分最初 favor 基于 CLIP 的变体，但一次系统性词汇修正便逆转了这一排名。对另一个不同类别进行的第二次独立修正也证实了这一现象，表明语言空间嵌入能够更忠实地追踪物理内容。这种忠实性还延伸到了 ScanNet++ 中真正的词汇外（OOV）物体，证明与基于 CLIP 的嵌入相比，语言空间嵌入能够更加鲜明地区分存在物体与不存在物体。GoDeep 还能够在场景中定位这些 OOV 物体，而且完全不需要任何二维—三维标注。由于所有表示始终保留为离散文本，预测结果在点级别也具有可解释性。最后，我们同时利用一种偏向精确观测而非仅仅高频观测的启发式加权方法，以及 GoDeep 的可解释性特性，提出了一种作为概念验证的聚合策略，以实现更细粒度的元素定位。