Dynin-Robotics：全模态统一扩散视觉-语言-动作模型

视觉目标和动力学预测可以为语言条件机器人策略同时提供目标结果和动作相关场景变化的表示。我们通过共享轨迹模型，将这些预测引入动作生成与选择。Dynin-Robotics 在 Dynin-Omni 上实现了这一构想；Dynin-Omni 是一种全模态掩码扩散骨干网络，将语言、视觉观测、目标和动作表示为离散词元。通过改变条件输入和目标跨度，同一模型可以学习动作预测、动作条件的下一时刻观测预测、终止目标状态预测，以及从轨迹重构指令。这些接口通过目标预测、动作候选评估以及动作与未来状态预测的联合细化，支持测试时扩展。我们在来自 48 个 Open X-Embodiment 数据集的约 133 万条轨迹上持续预训练该模型，并分别将其适配到下游领域。在两个 VLABench 任务上，在固定的 Stage-2 步数预算内，机器人预训练能够提升适配效果；在相同的耦合解码器下，完整目标混合相较于 Policy-only 后训练能够提升指令偏移情况下的成功率。将目标引导与动作—下一状态联合去噪相结合，相比仅动作解码能够进一步提升指令偏移情况下的成功率；其收益取决于预测的组合方式。Dynin-Robotics 在 LIBERO 和零样本 LIBERO-Plus 上取得了具有竞争力的性能，并在 Franka Research 3 机器人上的四种操作条件下实现了 78.4% 的平均成功率。在所报告的性能分析配置下，优化的块并行实现相较于基础实现，能够将模型侧动作解码速度提升最多 29.2 倍。这些结果表明，共享轨迹建模可以作为学习互补机器人目标并在控制过程中组合其预测的通用接口。