通过回溯实现高效且可扩展的监督

可扩展监督研究的是：能力较弱的验证者如何检查由能力更强的 AI 系统执行的计算所产生的输出。一种已提出的方法使用相对化交互式证明，其中能力较弱的验证者通过与一个或多个能力强大的证明者交互，来检查复杂的、由预言机辅助的计算的输出。一个突出的例子是辩论机制，它效率很高，但假设两个能力强大的 AI 模型（或证明者）中有一个是诚实的。对于某些类别的预言机辅助计算，可以去除这一假设，但计算成本会显著增加。在本文中，我们引入可回溯交互式证明（rewindable interactive proofs，RIPs），这是一种面向可扩展监督的新型相对化交互式证明模型。在 RIP 中，验证者可以将证明者回溯到交互过程中的较早状态，并从那里继续进行。当证明者是 AI 模型时，这是可行的，因为验证者可以保存模型状态的快照，并在稍后将其恢复。我们为这样一类计算构造了一种相对化 RIP：其输出对于少量预言机回答发生变化具有鲁棒性。与不假设存在诚实证明者的既有相对化证明相比，我们的构造效率更高，并且不使用密码学技术。在我们的构造中，诚实证明者的运行时间与原始计算的运行时间呈线性关系；而验证者在完成一次性预处理步骤后，运行时间几乎与输入长度呈线性关系（输入长度可能远小于计算本身的规模）。我们实现了该协议，报告了一项初步的 MNIST 实验，并展示了 RIP 的速度可以快于当前最先进的已部署证明系统。RIP 也可能具有独立的研究价值。只要验证者控制着证明者的机器，就可以进行回溯；例如，当证明者运行在可信硬件上，或运行在其状态可以创建检查点的虚拟机中时，便是如此。