LM-X：通过进度、事件与不确定性预测实现可解释的视觉--语言--动作建模

arXiv:2608.25757v5 公告类型：replace-cross 摘要：大规模视觉--语言--动作（VLA）策略推动了通用机器人控制的发展，但大多数策略仍然是从刺激到动作的黑箱：动作是可见的，但其解释性状态却不可见。它们无法原生提供三类解释信号：任务进度、下一个语义转换以及局部指令可靠性。已有研究表明，进度和事件结构有助于长时域控制，不确定性则有助于监测；然而，这些能力通常只是在动作预训练之后才被添加或提取。因此，当前领域缺少一种将解释性状态与控制联合预训练的 VLA 基础模型。受生物传感运动组织方式的启发——在这种组织方式中，对结果敏感、按事件分段且具有概率性的预测共同构成行为——我们提出了 LM-X。LM-X 学习三种通过直接监督获得的在线信号：回报剩余量（RTG）估计可见的进度和状态质量；事件剩余量（ETG）预测到下一个语义事件之前的动作序列；异方差动作流方差则报告局部指令的可靠性。RTG 为 ETG 提供条件，二者共同为动作生成提供条件；不确定性在动作专家内部进行估计，使解释成为控制的一部分，而非事后描述。我们在超过 20,000 小时的异构真实机器人轨迹上对 LM-X 进行预训练，其中包括超过 1,000 小时的失败运行。在 50 个随机困难的 RoboTwin2.0 任务上，LM-X 的成功率达到 74.1\%；在七个真实机器人任务上达到 73.5\%，而 GR00T N1.7 的成功率分别为 55.4\% 和 50.7\%。其信号能够跟踪进度和性能退化，预判事件尺度的运动，检测高误差动作，并提前预警失败。这些结果表明，LM-X 是一种可解释的 VLA 基础模型，能够将透明的预测状态与更强的通用控制能力结合起来。Github: https://github.com/loongOpen/LoongWu-LM-X-VLA