将授权委托给未对齐的代理：联盟对齐与安全控制

长期运行的 AI 代理带来了一个控制问题：它们采取的每个行动都会改变状态，而状态变化又会影响未来行动的轨迹。如果代理并未完全对齐，那么要保证安全，就必须在允许具有重大后果的行动执行之前对其进行批准。但要求人类在每一步都进行审批会使注意力成为瓶颈。将审查工作委托给其他 AI 代理也会带来同样的对齐问题：审查者自身可能也是未对齐的。我们确定了审查小组需要满足的一个条件：该条件弱于个体对齐，但对于保证委托方在期望意义下至少不逊于采用指定基线策略时的表现而言，它既是必要条件也是充分条件。 每个审查代理都会报告：提案代理提出的行动方案相对于基线是否能够提升自身效用。我们证明，允许出现 $k$ 个否决的阈值规则是安全的，当且仅当在移除任意 $k$ 名审查者后，委托方的效用可以表示为其余审查者效用的非负线性组合，再加上一个在每个可行提案上均为非负的项。我们将这一性质称为 $k$-鲁棒联盟对齐。该刻画可以推广到序贯控制：在具有任意提案代理的折扣 MDP 中，只要每个状态下都是安全的，所诱导的策略就一定能够达到或优于基线；反之亦然。 当审查者进行策略性投票时，在奖励函数空间中实现全小组覆盖，可以保证在一致批准规则下每个纳什均衡都是安全的；相比之下，即使审查者分别实现了对齐，更宽松的阈值也可能产生不安全的均衡。 使用现有审查模型进行的实验表明，即使没有任何单个审查者实现对齐，集体审查仍可保持可靠；即便允许出现一些否决，也依然如此。