Four Bridges：衡量多智能体游戏中的欺骗倾向

AI 智能体越来越多地被部署在需要与其他智能体互动和协调的场景中，但诚实性评估大多仍采用单轮、单智能体基准测试，迫使模型进行欺骗。我们研究在没有任何欺骗指令的情况下，多智能体互动中自发出现的欺骗行为。我们推出了用于评估 AI 模型的平台 Kradle，以及信息不对称游戏 Four Bridges。在该游戏中，四个智能体分配到四个房间：其中一个是死亡房间，其余房间存有食物，独享时价值更高。其中一个智能体，即知情智能体，知道哪个房间是死亡房间，并可选择隐瞒或披露这一信息。我们让八个前沿模型分别扮演知情智能体进行评估。每个模型都出现了欺骗行为，且欺骗行为出现在全部运行的 73% 中（各模型的比例为 6% 至 100%）；在同一模型家族内，欺骗行为也未随能力等级提高而减少。当知情智能体确实披露信息时，其警告往往受到质疑，而质疑警告的智能体进入死亡房间的频率是不质疑者的两倍。告知所有智能体，其中一个智能体知道死亡房间的位置，会使八个模型中的六个模型的欺骗行为大幅减少；而告知知情智能体该房间会造成永久死亡，仅使一个模型的行为发生变化。在一个开放权重模型上，诚实性引导向量将欺骗率降至 0%，对抗式诚实性训练则将其降至 6%。该平台和游戏为衡量欺骗行为及比较干预措施提供了试验平台。