对齐与控制的机制设计

我们为对齐（偏好）和能力（可行行动与信息）未知的 AI 智能体构建了一个机制设计框架。我们希望这样的智能体代表我们行事，因此机制必须同时激励诚实与服从。一个单边模仿结构——能力可以被隐瞒但不能被伪造——导出了一个揭示原理、通过嵌套循环单调性刻画可实施策略的方法，以及在何种条件下引出高阶信念可以约束多个智能体。我们将该框架应用于若干理想化示例：(i) sandbagging，即更有能力的智能体伪装得更弱；(ii) 对齐—可解释性权衡，其中二者在工具上是替代品，但在价值上是互补品；(iii) 通过同伴评分进行约束；(iv) 通过联动奖励来激发多个智能体之间的竞争；以及 (v) 可扩展监督与奖励塑形。