从遥操作到长时程灵巧操作：评估灵巧操作的视觉运动技能与离线代理指标

arXiv:2610.40828v1 公告类型：交叉发布 摘要：模仿学习策略旨在使机器人操作能够稳健应对物体位姿、外观和环境的变化，而这些变化会给预编程运动带来挑战。然而，现实世界中的性能仍然难以预测，因为验证损失等常规优化信号与机器人任务成功率之间并不存在一致的关系。为识别决定现实世界性能的设计选择，本研究使用五指机械手，在约1,700次真实机器人RJ45连接器抓取与插入试验中，评估了涵盖七类策略的281个模仿学习策略。受控消融实验表明，观测和动作表示的影响远大于常规优化器和采样方案的选择。对于点云策略，感兴趣区域裁剪、采用机器人基座坐标系表示，以及点编码器内部的归一化，均分别使成功率提高了70至100个百分点。对于视觉-语言-动作策略，预测绝对动作而非相对动作使插入成功率最多提高了70个百分点。技能分解、多视角感知和恢复操作示范与性能最强的系统相关，但其各自的影响尚未被独立分离验证。在所评估的67项离线指标中，只有五项衡量预测运动平滑性和直接性的指标与插入成功率呈现可靠相关性（r = -0.70至-0.80），且这种相关性仅存在于单一策略类别内。这些结果表明，表示方式的选择是决定模仿学习在现实世界中性能的关键因素；离线指标可以用于初步筛选策略，但不能替代真实机器人评估。