WayPOP：全景开放集全景分割跟踪基准

arXiv:2611.05801v1 公告类型：交叉收录 摘要：自主智能体的整体感知需要跨时间和摄像头视角可靠地分割场景元素并建立关联，包括固定语义分类体系之外的物体。现有开放集全景分割基准侧重于单幅图像或单个视角，而全景跟踪基准则假定采用封闭集分类体系。因此，这些基准无法评估未知物体能否在同步多摄像头序列中得到一致的分割与跟踪。我们提出 WayPOP，这是一个全景开放集全景分割跟踪基准，以真实的 Waymo PVPS 序列为基础，并利用来自 Objaverse 的多样化分类体系外三维资产进行增强。插入的物体被放置在三维场景中的固定位置，并在自车和周围车辆移动时，使用经过标定的车载摄像头进行渲染，从而提供在时间和跨视角维度上保持一致的全景分割标注，以及辅助 LiDAR 测距观测。WayPOP 包含约 670 个精心筛选的资产，实例化为 980 条独立的未知物体轨迹，在 21,300 幅摄像头图像中生成了 53,452 个未知物体掩码标注。我们的评估协议定义了一个任务层级，从视角独立的开放集全景分割到完整的全景开放集全景分割跟踪，并采用已知／未知类别的 PQ 和 (w)STQ 指标。我们对结合时间关联与跨摄像头关联的代表性开放集和开放词汇分割方法进行了基准评测。结果表明，当前方法在真正的开放集场景中存在显著局限，凸显出未知物体的鲁棒定位以及跨时间、跨视角的身份关联仍是亟待解决的重大挑战。