AgentSTAR：从单目视频进行智能体式形状跟踪与重建

在这项工作中，我们提出了一种通过智能体式分析-合成从视频进行形状重建与跟踪的方法。不同于以往先估计密集像素对应关系、再由此恢复物体运动的方法，我们的方法推断结构化的 3D 物体模型，包括其几何形状和运动学结构，并利用该模型随时间优化物体轨迹估计。在我们的优化循环中，一个 Vision-Language Model (VLM) 智能体通过渲染并比较的循环，迭代地细化形状或广义姿态，将粗粒度视觉推理与数值姿态优化相结合，以实现精确的状态估计。这种结构化表述使我们的方法能够在大幅运动、关节运动和严重遮挡情况下进行跟踪，而无需依赖像素匹配目标。定量结果表明，在 ARCTIC 上，我们的方法显著优于用于关节物体的最先进 3D 点跟踪基线；在 HOT3D 上，它优于所有评估的刚性物体跟踪基线。