TAVIS：面向模仿学习中第一人称主动视觉与预期性注视的基准

arXiv:2605.07943v2 公告类型：替换并交叉收录 摘要：主动视觉——策略在操作过程中控制自身注视方向——已成为模仿学习的一项关键能力，过去一年已有多个独立系统展示了其优势。然而，目前尚无统一基准可用于比较不同方法，或量化主动视觉在何种任务类型及条件下带来了哪些贡献。我们推出 TAVIS，这是一个基于 IsaacLab 构建的主动视觉模仿学习评估基础设施，在两种人形机器人躯干平台（GR1T2、Reachy2）上提供两套互补的任务集：TAVIS-Head（5 项任务，通过可水平转动和俯仰的颈部进行全局搜索）和 TAVIS-Hands（3 项任务，通过腕部相机处理局部遮挡）。TAVIS 提供三项基础评估工具：基于相同演示数据的头部相机与固定相机配对对比协议；GALT（注视—动作提前时间），这是一项以认知科学和人机交互（HRI）为基础的新指标，用于量化学习所得策略中的预期性注视；以及程序化生成的分布内（ID）与分布外（OOD）划分。使用 Diffusion Policy 和 $\pi_0$ 进行的基线实验表明：(i) 主动视觉总体上有益，且在多次训练运行中表现一致，但其收益取决于任务，而非均匀一致；(ii) 在两套任务集上，多任务策略在受控分布偏移下均出现性能急剧下降；(iii) 仅靠模仿即可产生落在任务相关物体上的预期性注视，其提前时间与人类演示相当，但头部运动不如演示中平滑，这是动作分块带来的影响，无法通过成功率体现。代码和评估脚本发布于 https://github.com/spiglerg/tavis；演示数据（LeRobot v3.0；约 2200 个回合）及训练好的基线模型发布于 https://huggingface.co/tavis-benchmark。