通过猜想与反驳验证语言模型智能体的动作

语言模型智能体越来越多地通过工具操控外部环境，代表用户采取行动，而其依据往往是未明确说明关键任务与环境特定背景的高层指令。为防止由此产生的偏离用户意图的动作，近期研究在执行前对拟采取的动作进行验证，主要通过确定支持这些动作的条件是否成立来实现。我们认为，这种以确认为导向的视角存在一个根本盲点：错误的动作往往能通过所有询问其是否正确的检查。这促使我们提出一个不同的验证问题：与其询问什么证据支持某个动作，智能体能否找到反驳它的证据？我们沿着这一方向提出 BlackSwan，这是一种以反驳为导向的“预期—怀疑—检验”流程：预测每个会改变状态的动作的预期效果，针对该动作可能出错的方式提出具体且可通过实证检验的假设，并利用已有观测或额外的不改变状态的动作来检验这些假设，仅在所有假设均未能经受住检验时才执行该动作。在具有挑战性的 AppWorld 任务上，启用和禁用骨干模型的思考模式时，BlackSwan 的成功率相较于最强基线分别提高了 14.9 和 25.2 个百分点。即使不使用思考模式或上下文示例，它的表现也优于配备这些能力的更强基线。这些增益也能迁移到 AppWorld 之外，BlackSwan 将 WebShop 上的表现提升了 12.7 个百分点。更广泛地说，我们的结果表明，语言模型智能体具备尚未得到充分利用的能力，能够识别并自行纠正偏离用户意图的动作，而通过在执行前主动进行猜想与反驳，可以系统性地激发这种能力。