行动前先改写：刻画并缓解视觉-语言-动作模型中的语言敏感性

arXiv:2610.10526v1 发布类型：cross 摘要：视觉-语言-动作模型（VLAs）对指令措辞表现出显著敏感性，并未继承其所基于的视觉-语言模型的语言鲁棒性。仅修改一个词就可能使成功率变化几十个百分点：对于“switch on the stove”，$\pi_{0.5}$ 在 LIBERO 中每次都能成功打开炉子，成功率为 100%；而对于“switch on the hot plate”，成功率仅为 2%。即使经过改写增强微调的 $\pi_0$ checkpoint，成功率波动仍最高可达 61 个百分点。我们通过经过统计检验的单一编辑变化和 oracle 短语搜索来刻画这种敏感性。结果表明，仅凭措辞就几乎可以弥合分布内任务与分布外任务之间 21 个百分点的差距。随后，我们在不修改策略的情况下减弱这种敏感性。由于这种敏感性具有系统性，因此可以将其表示为显式规则：我们为少量训练任务评分大量不同措辞，再让大型语言模型将这些证据提炼为十到二十条改写规则，并在部署时依据这些规则对每条输入指令改写一次。在十二个留出任务上，针对对抗式、VLM 生成和人工生成的措辞，这些规则使冻结的 $\pi_0$ 的相对性能提升了 16% 至 27%，且提升主要集中在分布外任务上。该流程在 $\pi_{0.5}$ 和 LIBERO 上也得到了复现，使 in-finetune 成功率从 93.6% 提升至 97.8%。该方法无需重新训练，也无需逐步验证，并且可以零样本应用于未见过的任务和指令。项目网站：https://sttawm.github.io/rephrase-before-you-act