CLAP：跨具身视频世界模型是零样本物理模拟器

最先进的动作条件视频模型通常仅限于单一机器人具身形态，因而无法利用包含丰富学习可泛化物理信号的大规模异构视频数据。为弥补这一缺口，我们提出 CLAP，一个能够跨具身进行动作条件视频生成的框架，可在来自人类和机器人智能体的多样化、互联网规模视频上训练。CLAP 的核心洞见在于：无论执行主体是谁，普适的物理定律都支配着时空动态。然而，跨具身学习并非易事，因为不同机器人平台之间的动作表示差异很大，而人类视频中通常又缺少动作信息。CLAP 通过以下核心贡献解决这一根本挑战。首先，CLAP 使用末端执行器位姿、语言指令和潜在动作来协调不同的动作空间。其次，为了弥补各自的局限，CLAP 提出了一种基于课程学习的跨具身学习方案：先利用潜在动作在无标注视频数据上学习基础物理先验，再将其锚定到末端执行器动作空间中，以便零样本部署到真实世界任务。关键的是，CLAP 在 DROID 等具有挑战性的环境中已接近或超过最先进的单具身视频模型。这些性能优势还能通过少样本适配进一步累积，从而建立起一种训练单具身视频 world models 的新范式。最终，CLAP 提供了迄今为止最全面的动作条件视频 world models 套件——覆盖多种动作条件空间（末端执行器、语言和潜在）以及多种机器人形态（包括跨具身、DROID、Bridge、双臂 YAM 机器人和 G1 humanoids）。我们已开源全部代码和模型。项目网站见 https://omni-clap.github.io 。