arXiv cs.AI精选77

ActiveAlign:通过主动感知对齐自我中心操控

ActiveAlign: Aligning Egocentric Manipulation via Active Perception

· 18小时前

精选理由

通过主动视觉与触觉校准缩小虚实差距,提升机器人毫米级精细操作能力。

AI 摘要

Real-to-Sim-to-Real(Real2Sim2Real)为规划、可解释性和安全执行提供结构化的世界表征。现有大多数方法依赖被动感知,而不完善的观测会造成 real2sim 差距。受人类通过行动进行主动感知的方式启发,我们提出了 ActiveAlign,这是一种利用主动感知通过交互来弥合 Real2Sim2Real 差距的框架。ActiveAlign 引入了两个互补模块:(i)ActiveAlign-Waving,通过利用主动手部运动和可微渲染执行手眼标定;(ii)ActiveAlign-Touching,通过触觉反馈细化物体对齐,实现毫米级精度。这些能力相结合,实现了强大的 real2sim 对齐效果。我们证明,ActiveAlign-Waving 可用于为开源的未标定机器人操控数据集整理仿真环境;并在真实的 Unitree G1 机器人上展示了 ActiveAlign 能够对毫米级物体进行精细操控,例如按压按钮和移动滑块。

查看原文(arXiv cs.AI)