永不回头：理解基于第一视角视频的三维物体记忆中的持久性

当我们在世界中活动并执行日常任务时，会遇到一些可能直到日后才与任务相关的物体。即使当时不知道之后会需要它们，我们仍能回忆起把某件东西放在了哪里，或某个容器里装了什么。在本文中，我们研究具身助手如何通过观察一个人的日常活动，从第一视角视频中构建类似的记忆。我们提出 Ledger，这是一种持久化的三维物体记忆，整合了物体位置、历史记录和上下文描述。它将整段录像中的观测关联起来，并在物体离开视野后保留其记忆，其中也包括此人从未触碰过的物体。它按静置位置对每个物体的观测进行聚类，并且只有在获得多次证据后才记录物体的移动，从而减小定位噪声的影响。简短的描述保留了物体所容纳的内容或其支撑表面等细节。它保存这些记录，以便之后无需访问原始图像或视频即可回答空间问题。我们的记忆方法将 HD-EPIC 上的准确率从 29.7% 提升至 42.6%，将 UCS-Bench 上的准确率从 33.8% 提升至 38.5%，并在对 Ego4D 物体进行定位时，返回的预测结果的中位误差为 0.99 米。我们的分析揭示了时间持久性、上下文描述和检索各自发挥的互补作用。我们还对 100 条各自由多个场景拼接而成的视频流进行了研究，进一步暴露了检索和构建环节的失效情况。与单场景视频流相比，跨场景切换会导致性能下降，而按场景分别构建记忆可以部分弥补这一损失。