StereoEngine：无需双目相机即可扩展双目视觉双臂机器人数据规模

arXiv:2610.12734v1 公告类型：交叉收录 摘要：双目视觉正越来越多地用于机器人操作，越来越多的研究将其融入视觉-语言-动作（VLA）模型。然而，大规模真实世界双目视觉数据集的匮乏，仍是此类策略规模化发展的根本瓶颈。近期的生成式单目转双目方法主要面向 VR 内容和自动驾驶等场景。此前尚无研究为机器人操作生成逼真的合成双目数据，该领域的双目监督信号主要来自仿真。我们提出 StereoEngine，引入两种互补的方法来合成机器人操作所需的双目数据。第一种方法利用估计深度，将单目（左视角）视频变换为右视角，并使用视频扩散模型修复因遮挡解除而显露的区域，从而无需使用真实双目数据进行训练，即可将单目示范转换为双目视图对。第二种方法先在仿真中渲染双目视图对，再联合生成两个照片级逼真视图，无需任何真实视频作为输入，即可生成左右一致的数据。StereoEngine 在生成双目数据的质量上优于现有基线方法，且将其合成数据用于策略的中期训练或特定任务微调，能够显著提升下游双臂操作性能。项目网站：https://stereoengine.github.io