同一场景，不同任务：面向组合泛化的技能对齐

arXiv:2610.00524v1 发布类型：cross 摘要：视觉-语言-动作（VLA）模型通常难以泛化到其微调示例中未出现的技能组合，即使每个组成技能都曾被演示过。我们聚焦于一种视觉捷径现象：在微调过程中，视觉观测可以作为指令的替代信号，因此策略可能会执行与相似观测相关联的已演示组合，而不是执行指令所指定的组合。这促使我们使用反事实对进行训练：固定一个演示观测，同时改变指令，使其指定一个未演示的组合。然而，这些反事实对缺少相应的演示动作目标。关键在于，当前所需的技能已经被演示过，但这些执行中的动作不能直接作为目标，因为同一技能在不同观测下可能需要不同的动作。我们提出 CRAFT，利用可在同一技能的不同执行之间复用的技能表示，将对所需技能的演示执行所提供的监督迁移到反事实对上。在三个 VLA 模型和两个仿真基准测试中，CRAFT 提高了未演示组合上的成功率，同时保持了演示组合上的高成功率；它还提升了真实机器人上的组合泛化能力。项目网站：https://taegeunyang.github.io/craft/