用于灵巧抓取稳定性的时序视觉-触觉学习

arXiv:2610.10283v1 公告类型：cross 摘要：人类利用指尖触觉反馈抓取日常物体时，几乎可以达到完美的成功率；然而，机器人抓取领域的大量研究都侧重于使用平行夹爪进行基于视觉的抓取选择。在本工作中，我们系统研究了高分辨率动态触觉感知如何促进灵巧机器人手的抓取稳定性预测和模型引导抓取。为此，我们使用一只配备四个 Digit 360 触觉传感器的多指机器人手，针对 200 个物体采集了 10,000 次抓取试验的数据集，并在每次抓取过程中记录外部视觉、本体感觉和触觉数据流。基于该数据集，我们训练了端到端时序多模态模型，根据抬升前的抓取观测预测抬升后的稳定性，并比较了不同感知模态和编码骨干网络的效果。实验结果和受控输入消融实验表明，引入触觉信息，尤其是高分辨率动态触觉信息，能够提升抓取稳定性预测性能。最后，我们将训练得到的预测器部署为真实机器人上的在线稳定性门控机制；与非触觉门控相比，视觉-触觉模型引导的重新抓取使已执行抬升动作的成功率提高了 10.5 个百分点。这些结果表明，丰富的指尖感知和能够捕捉触觉动态的表达性时序模型，无需显式的接触或力建模，即可支持多指机器人手实现学习式抓取，为从触觉经验迈向稳定灵巧操作提供了一条可扩展的数据驱动路径。该数据集已公开发布于 https://lasr-lab.github.io/dexterous-grasp-stability/。