SUN:面向语言落地的控制到学习到真实策略的持久程序
SUN: Persistent Programs For Language-Grounded Control-to-Learning-to-Real Policies
精选理由
帮助读者理解如何把任务语义统一到控制与学习,提升长程机器人操作鲁棒性。
AI 摘要
在长时程操作中,基于模型的控制与学习得到的策略之间一直存在一个隐性的分歧:控制负责执行指定目标,学习则将这种行为摊销为反应式策略,然而现有协议会丢弃任务语义,导致奖励被手工设计,行为也逐渐偏离控制所验证的内容。我们提出语义统一(Semantically UNified,SUN)程序,这是一类带类型的可执行程序,其中几何关系和接触关系只需定义一次,随后即可编译为对齐的模型预测控制(Model Predictive Control,MPC)代价、满足谓词、强化学习奖励、转换守卫以及诊断信息。我们的系统 Kuafu 由大型视觉语言系统驱动,可从语言和场景语义中自动合成 SUN 程序,通过 MPC 筛选可行性,并在训练阶段条件策略时保留语义。在九个任务上,Kuafu 取得了 82.03% 的宏平均成功率,优于稀疏奖励(35.67%)和 Stage-BC(24.75%)基线。在 8192 路规模下,它每小时生成的成功轨迹时长是人工遥操作的 10.57 倍。每个任务使用 500 条轨迹时,Kuafu 数据可训练 DP3 策略在仿真中达到 46.0% 的成功率(而其他方法为 22.4%),并在物理 Franka 和 Kinova 机器人上达到 34.7%。这些结果表明,经过仿真筛选的任务语义能够在无需演示或人工稠密奖励的情况下,有效地将控制摊销为稳健策略,从而统一符号规划与数据驱动执行。