ProMo3D：探测冻结的 3D 基础模型中的运动线索

前馈式 3D 基础模型近期重塑了多视图重建，但动态 4D 理解仍往往依赖大规模运动监督或手工设计的、特定于架构的启发式方法。我们探究冻结的 3D 基础模型的词元是否已编码与运动相关的信息，并能通过轻量级读出函数将其提取出来，而无需使用高容量解码器重新学习运动特定特征。通过对三种代表性骨干网络进行探测，我们发现可以从冻结的词元表示中解码出静态与动态的分离信息。我们对 $π^3$X 进行的秩约束分析和谱分析表明，提取出的运动线索集中在一个低维子空间中。在此基础上，我们提出 Probing-based Motion Distillation（PMD），将各词元与固定锚点词元之间的成对运动状态兼容性得分转换为稠密运动掩码。PMD 仅使用单张 16 GB GPU，在 160 个 YouTube-VOS 视频上训练，即可零样本迁移至 DAVIS、SegTrackv2 和 FBMS-59，无需针对目标基准进行微调。借助经过多视图预训练的几何骨干网络，PMD 优于免训练的启发式方法，并接近计算开销大得多的监督与自监督方法，这表明从冻结的 3D 基础模型中解码运动信息可以兼具轻量化与数据高效性。