失败的机器人何时应当提问？基于审计传感器证据发起纠正性人机对话

执行任务失败的机器人在纠正性对话中首先要做出决策：依据自身诊断独自行动、咨询另一个机载传感器，还是打断人类。要做出恰当选择，机器人需要知道其传感器在多大程度上揭示了故障原因，以及机器人自身诊断的可靠性有多高。我们构建了一个模拟基准，其中每次失败的真实原因都是已知的，因为这些故障由我们注入；同时，我们测量每个传感器能够揭示的信息，并明确检查是否存在数据泄漏。有些故障可以从相机图像中诊断出来；另一些则只能通过机器人的力数据诊断（力数据的准确率为 0.99，而没有任何图像方法超过 0.55）。随后，我们测试了六个开放式视觉语言模型。它们的行为追随的是提示词的表面形式，而非证据本身：在三个经过系统测试的模型—模型系列组合中，仅仅将拒答选项从答案列表末尾移到开头，就会使拒答率从 78%–100% 骤降至 0%–6%。无论提示词采用何种变体、是否提供解题示例，仅凭图像帧得到的准确率始终不高于多数类基线；模型声称的置信度也不包含任何关于正确性的信息。将相同模型的力数据以十行文本的形式提供后，六个模型中有四个首次给出了高于基线的诊断：许多失败源于缺少传感器数据，而非缺少能力。我们将这一选择表述为一个包含三种行动的决策问题：采取行动、咨询自身传感器，或询问人类；其最优策略可由测得的准确率推导得出。这些模型并未遵循该策略，而且它们的提问率也无视问题成本发生四倍变化这一事实。即使只向人类提问一次，也能让它们从该基线提升到大致相当于答题者自身的可靠性水平（提问时为 0.70–0.81）。是否提问应当取决于测得的准确率和明确说明的成本，而不应取决于模型的置信度。