触觉好奇心驱动机器人交互

通过强化学习（RL）掌握机器人操作技能，在很大程度上仍然存在样本效率低下的问题。最常见的 RL 算法依赖随机动作采样来发现新策略，导致智能体将大部分训练预算用于远离接触点的自由空间运动，而操作技能正是在这些接触中产生的。现有基于模型分歧或认识不确定性的内在动机方法，相较于各向同性噪声有所改进，但它们也可能奖励功能上无关的状态转移中的不确定性，例如自由空间中的无规律运动。在本文中，我们认为触觉反馈为探索提供了一种自然信号，并提出 TacEx：一个将触觉融入由认识不确定性驱动的探索框架。该框架通过在不同感知模态之间分解模型不确定性，将好奇心引向触觉通道。通过将好奇心锚定于触觉，TacEx 驱动机器人发现复杂的接触动力学，并在探索过程中无需任务奖励或专家示范即可学习操作和抓取物体。通过这种触觉驱动的好奇心收集的高交互密度数据集，支持离线学习后续的抓取与放置策略，而无需与环境进行额外交互。我们进一步利用触觉驱动的探索对视觉-语言-动作（VLA）模型进行后训练。尽管 VLA 最初是在没有触觉反馈的情况下进行预训练的，但使用 TacEx 进行后训练能够显著提升下游性能，同时保持极高的样本效率。