Show-Harness：仅凭一个 VLM 智能体就能操控机器人

基础视觉语言模型（VLM）展现出对现实世界的广泛智能，但如何将这种智能转化为机器人控制仍然充满挑战。我们提出了 Show-Harness，这是一种具身控制框架，通过连接意图与动作的紧凑语义接口，使 VLM 能够“操控”机器人。Show-Harness 提供了离散的语义动作单元，VLM 可以自然地对其进行推理；与此同时，针对不同具身形态的解释器会将这些动作单元确定性地落地为机器人在本地执行的动作，从而使 VLM 直接负责细粒度的物理决策。借助同一接口，Show-Harness 展示了以下两种应用的可行性：（1）直接解锁闭源前沿 VLM，实现零样本机器人控制；（2）仅需数个 GPU 小时的微调，即可适配小规模开源 VLM，实现低成本部署。我们进一步开发了 GUMI（GUI Manipulation Interface），将同一语义动作空间扩展到基于 GUI 的演示数据采集，使人类和智能体无需专用遥操作硬件，即可跨不同具身形态“操控”机器人。大量实验表明，配备 Show-Harness 的 VLM 智能体能够在不同任务、具身形态和环境之间实现稳健泛化，性能优于具有代表性的智能体范式和 VLA 范式。这些结果表明，合适的接口可以从基础 VLM 中释放出可观的具身能力，而无需增加模型容量，也无需进行代价高昂的具身专属预训练。