NestedVLA:为视觉-语言-动作模型学习整合与生成技能
NestedVLA: Learning to Consolidate and Generate Skills for Vision-Language-Action Models
精选理由
介绍NestedVLA以参数生成整合机器人技能,提升VLA的多任务复用与性能。
AI 摘要
arXiv:2610.23271v1 公告类型:cross 摘要:视觉-语言-动作(VLA)模型有望实现通用型机器人智能体,但如何整合在异构任务和环境中学习到的技能仍然困难重重:训练数据分散于不同平台,联合多任务训练会受到相互干扰,而模型合并往往会引入参数冲突或需要修改架构。对此,我们倡导一种先独立学习技能、再事后进行整合的范式。为此,我们提出 NestedVLA,以参数生成取代参数聚合:一个以目标任务为条件的嵌套超网络,合成适应任务的动作专家参数,并将其与冻结的基础 VLA 组合。任务特定的压缩 VLM 残差则被单独保留。这种设计能够灵活地复用以任务为条件的技能,同时减轻相互干扰。在三个强化学习基准(MetaWorld、ManiSkill、CALVIN)上,NestedVLA 平均超过最强模型合并基线 41 个百分点;在 ManiSkill 上与逐任务微调的差距不超过 1 个百分点;在 CALVIN 上则大幅缩小了差距,展现出一条节省存储空间的技能整合路径。代码可在 https://github.com/WanyuGroup/NeurIPS2026-NestedVLA 获取。