arXiv cs.AI精选74

GS-VLA:通过 Gaussian Splatting 为冻结的 VLA 策略实现即插即用的视角规范化

GS-VLA: Plug-and-Play Viewpoint Canonicalization for Frozen VLA Policies via Gaussian Splatting

· 55天前

精选理由

展示无需重训即可提升VLA对视角偏移的鲁棒性

AI 摘要

本文提出了一种轻量级、即插即用的框架,可在不重新训练策略的情况下提升 Vision-Language-Action (VLA) 策略对视角偏移的鲁棒性。据我们所知,这是首个直接利用基于 3D Gaussian 的新视角合成来进行 VLA 策略观测空间适配的方法。当前 VLA 的性能依赖于一个隐含假设:训练与部署时的相机配置完全相同。我们的实验表明,即使相机安装位置发生很小的位移,在最坏情况下也会使 LIBERO 基准上的成功率从约 90% 降至约 10%。以往方法,如大规模微调或生成式数据增强,计算成本高且存在灾难性遗忘的风险。为解决这一问题,我们将视角偏移重新表述为一个局部的新视角合成问题。在 Locality 假设下,即相机扰动相对于工作空间仍保持在一个较小的有界区域内,视角归一化可简化为一个与场景和策略无关的去遮挡任务。我们的工作通过在冻结的 VLA 策略前接入一个 4M 参数的 3D-Gaussian 规范化器来实现这一思想。在不修改策略权重的情况下,GS-VLA 在三个正交维度上提升了性能:(1) 策略架构,(2) 未见过的任务套件,(3) 扰动尺度。这些结果表明,一个轻量级视觉模块可以在不重新训练策略的情况下,恢复视角偏移导致的性能损失中的很大一部分。

查看原文(arXiv cs.AI)