Fly-by-Code：基于主动视觉与物理反馈的空中操作具身编程智能体

arXiv:2610.12549v1 公告类型：交叉收录 摘要：具身编程智能体通过生成可执行程序，并根据执行反馈对其进行改进，将自然语言指令转化为机器人策略。这种改进过程假定执行反馈能够揭示任务是否成功，并在失败后提供足够的证据来指导程序修订。空中操作在两个方面违背了这一假定。一方面，载荷约束限制了机载相机的覆盖范围，使对任务至关重要的结果处于机器人视野之外（部分可观测性）；另一方面，强动态耦合与有限的控制裕度使物理交互容易失败（交互鲁棒性有限），且失败原因难以明确。反复审视同一份反馈，既无法补回从未采集到的观测，也无法区分现有证据无法辨别的失败原因。为获取这些缺失的证据，我们提出 Active Feedback（AF），一种主动式“观察与探测”框架。当执行反馈仍留有未解问题时，智能体会合成一个独立的诊断程序，在仿真中运行，从信息丰富的视角检查此前未被观察到的结果（观察），或通过有针对性的物理交互检验关于失败原因的假设（探测）。在六项仿真空中操作任务中，每种条件均进行 60 次试验；在相同的编程智能体配置和任务执行次数限制下，与终止时反馈相比，AF 将误报完成的次数从 25 次降至 5 次，并将最终任务成功率从 31.7% 提升至 75%。借助共用的机器人 API，在仿真中通过 AF 改进的任务程序无需修改任务程序源代码，即可在实体空中操作机器人上运行，并在真实世界中完成多阶段操作任务。这些结果表明，可执行诊断能够弥补具身编程智能体执行反馈中的信息缺口，从而同时改善空中操作中的完成状态评估与程序改进。