arXiv cs.LG精选76

LayerRoute:面向视觉-语言-动作策略的动作条件混合层路由

LayerRoute: Action-Conditioned Mixture-of-Layers Routing for Vision-Language-Action Policies

· 9天前

精选理由

让机器人策略按任务动态调用视觉与动作表征,以极小参数开销提升操控性能。

AI 摘要

arXiv:2609.06079v3 公告类型:替换交叉 摘要:视觉-语言-动作(VLA)策略利用预训练视觉-语言模型(VLM)指导机器人控制中的动作生成。VLM 提供跨层演化的层次化视觉-语义表征,其内容从局部视觉几何逐渐发展为抽象且与语言对齐的语义;因此,不同操作任务可能需要不同的层表征组合。与此同时,动作模块维护着在动作计算过程中不断演化的中间表征,这些表征可能为后续决策提供有用信息。然而,现有的 VLA 接口在表征访问方面灵活性有限:VLM 信息通过为每个动作层固定分配层来暴露,而中间动作状态仅通过残差流隐式传递,无法被显式复用。我们提出 LayerRoute,一种动作条件表征路由接口,可实现对 VLM 层和动作表征的自适应访问。其中,Layer Mixture Router 动态构建缓存 VLM 表征的混合,Action-State Reread 则复用较早的动作表征。在多样化的仿真和真实世界基准测试中,LayerRoute 持续提升 StarVLA-$\pi$ 和 $\pi_{0.5}$ 的性能,在 LIBERO Long 上最高提升 7.2,同时仅增加 0.31% / 3.87% 的参数量。消融实验验证了动作条件层路由的有效性,而路由分析揭示了不同动作层和任务设置下具有结构性的分配模式。

查看原文(arXiv cs.LG)