EyeRobot 2.0：无需腕部相机的主动注视精准操作

受人类视觉启发，我们提出了一种利用主动注视的框架，仅凭单个双目相机即可实现精细的双手操作。EyeRobot 2.0 通过转动两个眼部视点，使其注视中心对准场景中的三维注视点，从而在物理上关注该点。随后，系统以中央凹式方式处理所得图像，为图像中心分配更多视觉标记，将计算集中于与任务相关的特征上。这种主动视觉注视（Active Visual Fixation，AVF）要求在任务执行过程中对注视进行精确协调。为此，我们采用分层方法：首先训练一个以目标物体为条件的低层注视伺服策略，然后训练一个根据任务进度发出注视目标的目标选择器。两个模块均使用真实世界数据通过RL进行训练：前者采用稠密几何奖励进行训练，后者与BC夹爪策略协同训练，使其能够发现类似人类注视序列的注视序列，同时完成任务。EyeRobot 2.0 还进一步利用注视信息，将夹爪信息规范化到相对于注视点的SE(3)坐标系中，从而压缩需要学习的动作分布规模。我们为7个真实世界任务和6个仿真任务收集了遥操作数据，并进行了超过1000次真实机器人试验和1800次仿真机器人试验，将使用相同数据训练的EyeRobot 2.0与被动双目策略以及自体视觉+腕部相机策略进行比较。对于标准策略而言，移除腕部相机代价高昂：仅使用被动双目时，真实世界成功率从52%降至27%。EyeRobot 2.0仅凭双目相机便弥补了这一差距，在真实环境中比被动双目高40%，在仿真环境中高20%。当腕部视野清晰时，其性能与自体视觉+腕部相机策略相当（69%对64%）；而当被抓取物体遮挡腕部相机时，其成功率超过后者的两倍（48%对22%）。