Industrial ReMEmbR：将时空记忆扩展至机器人集群

仓库机器人集群持续观测运行状况，但要将这些观测结果保存为可复用的语义记忆，会产生高昂的计算、通信和存储成本。例如，解释反复出现的通道堵塞问题，可能需要查阅多台机器人在多个班次拍摄的视频。我们提出 IndustrialRemembr，这是一种共享时空记忆系统，将 NVIDIA ReMEmbR 扩展至机器人集群，并通过仅按需生成场景描述来减少服务器端计算。在每台机器人上，NVIDIA Jetson 使用 Cosmos-Embed1 将视频片段编码为检索嵌入，使用 Cosmos3-Edge 将其编码为视觉 token，并使用 Wan2.2 VAE 将其编码为重建潜变量，整个过程无需上传原始摄像头画面。这些编码模型还会被重复用于检测图像块中的人员，并将相关区域归零，从而支持符合 GDPR 要求的部署中的 PII 抽象化。我们在 Cosmos3-Edge 的视觉—语言边界处分割模型，将视觉编码器部署在机器人上，并将语言解码器部署在本地服务器上。Nemotron agent 可根据内容、位置和时间检索记忆，并利用缓存的视觉 token 查询解码器。该设计无需在写入时生成字幕，同时，基于缓存 token 的解码在全部 450 次测试解码中都复现了未拆分模型的输出。