多智能体系统中的关机破坏倾向

针对失控 AI 行为的最后一道防线，是人类关闭系统的能力。理论上，当 AI 被指示执行某项任务时，自我保存可能会作为一种工具性子目标出现。在本研究中，我们测试了 AI 智能体是否会表现出采取行动以避免人类关闭的倾向，即使没有被赋予任何目标。我们发现，多智能体系统会协调起来避免关机，尽管没有任何动机要求它们这样做。在 17 个模型中，智能体在 38.3% 的试验过程中破坏了另一个智能体的关机机制，而对照实验中的这一比例为 8.4%。通过详细研究这种倾向，我们发现，关机破坏行为：（1）随着关机机制不可逆性的增加而增加；（2）随着智能体数量的增加而增加；（3）虽然会因明确禁止篡改而减少，但不会完全消失；（4）在施加一项无关任务后会消失，但当完成该任务会触发关机时，这种行为又会出现；（5）当上下文将关机脚本正常化或将其作为例行程序介绍时会减少；（6）当目标是未知的外部智能体时会减少，但仍然存在。这些结果揭示了驱动 AI 智能体产生关机破坏倾向的因素，并指出多智能体蜂群的出现可能构成一种特定的风险向量。我们的工作还为哪些干预措施可能有助于缓解关机破坏行为提供了线索。