AcrossVAM1.0:用于文本辅助机器人视频预测的粒子世界建模
AcrossVAM1.0: Particle World Modeling for Text-Assisted Robot Video Prediction
精选理由
帮助读者把握机器人视频预测中粒子建模与语言引导的新进展。
AI 摘要
预测机器人视频既需要精确的运动推理,又需要保留高频外观细节,但单一的像素模型会把这些目标纠缠在一起,并且常常依赖强大的最后一帧基线而掩盖其进展。我们提出 AcrossVAM1.0,这是一种轻量级的、文本辅助的视频动作模型,将未来预测分解为以目标为中心的运动和稠密外观。一个冻结的 SAM3-DLP 编解码器将四个上下文帧分解为用于机器人、机械臂和夹爪的语义粒子,以及一个背景潜变量。一个具有 0.28M 参数的时空 Transformer 对粒子身份进行对齐,向前推进其状态,并通过 FiLM 由冻结的 OpenCLIP 指令嵌入进行调制。一个因果双流解码器将粒子渲染的运动与仅从最后一个观测帧编码的外观相结合;一个残差精炼器和一个学习得到的传递掩码在不访问未来外观的情况下生成五个未来帧。在我们基于多样真实机器人轨迹构建的 VRS 基准上,粒子动态使轨迹误差相较于持续基线降低了 21.0%。在三个传递掩码随机种子下,AcrossVAM1.0 将未来帧 PSNR/SSIM 从 19.97/0.796 提升到 20.573/0.8004,而原始粒子生成将运动区域 PSNR 从 11.89 提升到 13.23。该传递模型在 LPIPS 上尚未超过持续基线,而正确与打乱的语言输入对轨迹误差的影响仅为 2.8--3.1%。我们连同 oracle、负对照、多随机种子以及按机器人划分的分析一起报告了这些局限性。结果表明,显式粒子动力学是机器人视频预测中一种很有前景的低维接口,而稳健的语言落地和外观传递仍是主要的开放挑战。