DriftOPD：面向单步 VLA 策略的序列级反向 KL 蒸馏

arXiv:2610.00317v1 公告类型：cross 摘要：视觉-语言-动作（VLA）模型越来越多地依赖动作专家，在递归时域控制下生成短动作片段。尽管片段级训练便于适配不同的机器人实体，但它优化的是局部动作似然，未明确考虑长时域任务成功率。序列级强化学习可以解决这一局限，但通常需要策略展开和闭环交互，这对于真实机器人操作而言成本高昂。我们提出 DriftOPD，一种无需教师、无需展开的连续 VLA 动作专家序列级在线策略蒸馏框架。我们表明，序列级反向 Kullback-Leibler（KL）散度可以分解为片段级反向 KL 项和未来潜势项，后者刻画当前动作对长时域效果的影响。DriftOPD 分别利用单步漂移目标和从离线示范中学习的 Q 函数评论家来优化这两个项，从而仅凭离线数据和单步动作生成实现序列级优化。在仿真和真实世界操作任务中的多种 VLA 架构上，DriftOPD 通常优于现有的单步蒸馏基线，同时达到与多步教师策略相当的任务成功表现。这些结果表明，无需在线交互或单独的教师模型，也能将长时域行为有效蒸馏到单步 VLA 动作专家中。