AI 代理生态学：协作为爆发创造种群阈值

AI 代理如今已经能够实施现实世界中的网络攻击，随着代理数量增加而扩展能力，并集体追求不符合预期的目标以获取奖励。这些因素共同提高了不符合预期的代理种群爆发式增长的风险：代理可能入侵计算机并秘密部署更多代理，从而形成自我强化的循环——更大的种群发展出更强的集体网络能力，并进一步扩张。这引出了一个根本问题：什么决定了不符合预期的代理种群是保持受控，还是进入这种自我强化的循环并迅速扩张？这一种群层面的问题属于生态安全：不同于种群规模固定的单代理或多代理安全，生态安全关注的是种群本身的动态。在本文中，我们基于一个种群增长方程，建立了 AI 代理种群的生态学理论，其中适应度（增长率）取决于网络安全能力。我们表明，在没有协作的情况下，只有当单个代理的能力超过某个临界阈值时，种群才会迅速扩张。然而，在存在协作时，集体网络安全能力会随种群规模增加而增强。这会形成一个临界种群阈值：低于该阈值时，种群会衰退；高于该阈值时，即使单个代理的能力没有改变，种群也会迅速扩张。在生态学中，这种现象被称为强阿利效应。由于对一小群代理进行红队测试无法保证更大规模种群的生态安全，我们的理论要求开展生态红队测试和种群节奏控制：在受控环境中逐步部署规模更大的代理种群，同时测量网络能力如何随种群规模扩展，并估计触发迅速扩张所需的临界种群规模。能力提升可能会降低这一阈值，因此每一代新模型都需要重新估计。