FAMOS：从稀疏观测进行前馈式三维关节运动建模

从稀疏的单目视图中建模具有关节结构的物体颇具挑战，因为每次观测只能揭示部分几何信息和运动证据。大多数前馈式方法从单次观测中推断关节结构，因此高度依赖学习得到的类别级形状先验。我们提出 FAMOS，这是一种前馈式模型，能够从一组稀疏、无序的局部点云中预测可移动部件分割结果和关节参数。我们的模型联合利用多次观测进行推理，并且能够自然支持可变数量的输入，包括单视图输入。为聚合不同观测中的关节运动线索，我们引入了 Multi-state Articulation Transformer，通过交替进行状态级注意力和全局注意力来实现信息融合。我们进一步提出观测关节运动范围目标，对输入观测中各部件呈现的运动范围进行监督，促使模型充分利用完整的观测集合。为克服现有数据集规模和多样性有限的问题，我们引入了一种程序化数据生成器，在训练期间合成带有自动标注的资产。在 PartNet-Mobility、ACD 和 ArtiCraft-10K 上的实验表明，与前馈式和基于优化的方法相比，我们的方法均取得了稳定提升。项目页面：https://kevinqu7.github.io/famos