PACT：从视频端到端学习人体姿态、接触和力

arXiv:2610.00451v1 公告类型：cross 摘要：人体运动、环境接触和交互作用力受共同物理定律支配，但现有方法通常将视觉姿态重建与接触和力估计分开处理。这种分离限制了联合推理能力，并可能导致误差在不同阶段之间传播。我们提出 PACT，一种端到端模型，能够从单目视频中联合学习估计人体姿态、接触和接触力。我们在人体重建基础模型中加入可学习的接触力标记，并引入一个将视觉特征与世界坐标系中的运动相融合的时序 Transformer。联合预测头负责细化人体姿态并估计接触和力，同时基于物理的监督促使重建运动与交互作用力保持一致。为应对力标注稀缺的问题，我们开发了一套数据标注流程，将接触标注与基于物理的运动和力优化相结合，从合成视频和真实世界视频中生成训练监督信号。我们还提出了真实世界攀爬基准 ForceWall，其中包含攀爬视频以及通过力传感器获取的对应真实接触力。实验表明，该方法在接触和力估计方面达到了当前最佳性能，优于分阶段的重建方法，并且能够泛化到训练分布之外的交互场景。这些结果表明，端到端联合学习是从视频中恢复人体运动和物理交互的有效方法。