arXiv cs.AI精选82

SlipSense:面向低延迟和泛化滑移检测的多模态触觉学习

SlipSense: Multimodal Tactile Learning for Low-Latency and Generalized Slip Detection

· 29天前

精选理由

深度 91 / 新颖度 86,来自 arXiv cs.AI。

AI 摘要

滑移检测是灵巧操作的基础,但现有系统通常缺乏对检测延迟的精确刻画以及跨平台泛化能力。我们提出 SlipSense,一种构建于 TacV5 之上的多模态触觉滑移检测框架。TacV5 是一种紧凑型传感器,集成了以 240 Hz 运行的 $32 \times 32$ 压阻阵列和以 8 kHz 运行的三轴 MEMS 加速度计。压阻阵列捕捉空间压力分布,而加速度计捕捉摩擦引起的振动,从而提供互补的滑移线索。该框架执行模态特定编码、传感器内融合和跨模态注意力,并以 240 Hz 进行因果时序预测。在涵盖 37 个物体、包含 140 万帧数据的数据集上进行的实验表明,这两种模态具有互补性。SlipSense 达到 96.7% 的 Macro F1,误报率低于 1.6%,并能在 23.1 ms 内检测出 76% 的滑移事件。当仅使用 UMI 数据进行训练时,SlipSense 能够零样本泛化至 Tesollo 灵巧手,在无需重新训练的情况下,跨越未见过的物体、不同的传感器单元和机器人平台实现迁移。

查看原文(arXiv cs.AI)