面向智能体机器人的 Recursive Video In-Context Learning

通过文本记忆协调冻结式视觉-语言-动作（VLA）策略的 LLM 智能体，能够在多轮任务中不断改进；文本记忆记录了智能体做了什么，却没有记录任务是如何完成的。演示视频能够展示这一点，但不适合直接放入智能体的上下文中。完整视频会拖慢每一轮交互，固定关键帧会丢失决定抓取是否成功的接触细节，而智能体所需的信息也会随着规划过程发生变化：规划时需要了解任务结构，执行时则需要关注每次接触附近的帧。我们提出 Recursive Video In-Context Learning（RV-ICL），一种无需训练的方法，将演示视频转换为智能体可以导航的层级结构，而不是直接提供给智能体的提示。该层级结构由演示中的子事件构建而成，例如抓取和释放。层级粒度逐步细化，从完整任务的关键帧，到阶段、时刻和短视频片段，并通过只读工具提供给智能体。智能体在规划前先读取粗粒度层级；执行过程中，每当某一步需要更多细节时，便重新进入该层级结构，并仅加载当前子目标对应的视频片段。每个任务只需一个演示即可。在 RPent 的基础上，RV-ICL 将 LIBERO-PRO 上的成功率从 92.6% 提升至 96.5%，并将 LIBERO-Plus 上的成功率从 86.7% 提升至 95.8%。