在控制器限制内重定时演示,实现更快的模仿
Faster Imitation by Re-timing Demonstrations Within the Controller Limit
精选理由
用控制器可实现的边界重排示范动作,在保留轨迹的同时加速模仿,并提升多项机器人任务的成功率。
AI 摘要
模仿策略会继承操作者的节奏,而通过重定时演示来提速,只在达到演示速度的两到三倍之前有效,此后成功率便会崩溃。近期方法将这种崩溃归因于分布偏移,并通过更精细的规则来决定哪些片段可以加速;我们表明,这种崩溃存在片段选择无法解决的机械层面原因。底层控制器在每个控制周期内只能实现有限的位移,因此合并连续指令会产生超出该界限的位移总和,形成要求被控对象完成其无法实现的状态转移的训练样本对。我们将重定时数据中此类样本对的占比称为超限占比,它能反映重新训练后的策略在何处崩溃。由此得到的规则只有一个参数:只要位移总和仍可实现,就进行贪心合并。这样,每条指令从构造上就保证可实现,演示的几何形态得以保留,且加速只发生在演示者留有余量的地方。在四项模拟 robomimic 任务上,每种实验配置均使用 200 个留出随机种子;当合并上限为两条指令时,四项任务的成功率均不低于冻结策略,其中 Square 高出 14 个百分点,同时成功回合的耗时缩短。在相同节奏下,均匀重定时在 Can 和 ToolHang 上的成功率分别低 9 和 16 个百分点,在另外两项任务上的差异处于噪声范围内,而在最难的任务上,达到 2 倍速时成功率降至零。加速位置同样重要:在四项任务中的三项上,打乱加速位置、熵引导或速度条件化的替代方案均未优于该规则,且差距无法仅用超限占比解释;在第四项任务上,当节奏处于任务可承受的范围内时,所有加速位置安排的表现均落在同一区间。这一原则同样适用于模拟人形机器人的全身跟踪器:在其速度包络范围内对 429 段参考动作进行重定时,在 2.3 倍速下有 71% 的片段成功,而均匀时间缩放在 2 倍速下的成功率仅为 51%。