TrackEverything：通过去重 3D 场景表示实现长时域密集跟踪

现有点跟踪模型面临一个根本性权衡：它们要么能够在长时间范围内跟踪一组稀疏查询点，要么只能在较短视频片段中跟踪所有点。我们提出 TrackEverything，这是一种 3D 点跟踪器，通过将视频表示为世界坐标系中的持久 3D 场景轨迹，打破了这一权衡。基于视频是底层 3D 世界的 2D 投影这一洞见，TrackEverything 将模型复杂度与视频时长解耦，使其能够转而随独特的物理场景几何结构进行扩展。我们的方法包含三项关键创新。首先，我们在滑动窗口边界采用基于体素化的去重机制，合并位置重合的轨迹，防止对同一表面的重复观测冗余累积。其次，我们将跟踪分解为两个阶段：首先由端点细化器预测每个点的终点以及静态或动态分类，随后由轻量级轨迹细化器仅为动态点解码密集轨迹。第三，我们提出 3D WAFT，以场景点云中的高效特征采样取代占用大量内存的 4D 相关体。据我们所知，TrackEverything 是首个能够在 40 GB GPU 内存内跟踪超过 1000 帧视频中所有可见点的 3D 跟踪器。在 TAPVid-3D 上，尽管跟踪的点数多得多，TrackEverything 在短视频片段上仍比所有开源的全帧密集 3D 跟踪器高出超过 20% APD，同时在长序列上保持了与最先进稀疏跟踪器相当的性能。