通过迭代式解除对齐进行稀有事件估计

随着代理以更高的自主性被部署，即使随机输出轨迹中极其罕见的事件也可能发生，并造成灾难性后果。因此，安全部署并不取决于这些事件是否可能发生，而取决于它们可能发生得多么频繁。我们研究如何估计由代理自身动作的随机变化所产生的稀有事件概率。估计这类风险需要在组合数量极其庞大的轨迹空间中进行搜索。在这一情形下，朴素蒙特卡洛的计算成本高得难以承受，而构建有效的重要性采样（IS）提议分布，则需要对一系列依赖上下文的条件分布进行协调调整。我们开发了一种新的 IS 方法，通过扰动原始模型的权重来构建提议分布。该提议分布本身是一个以可微方式参数化的语言模型，因此能够在权重空间中进行基于梯度的搜索。我们提出了一个目标函数，将事件放大的可微代理目标与自适应正则化方案相结合，从而动态平衡放大效果与估计器稳定性。我们在约 120M 和约 2.6B 参数的模型上，对三个事件族中的 300 多个稀有事件进行了评估，这些事件的稀有程度最低达到 $10^{-9}$；其参考概率的计算结果具有小于 $10\%$ 的相对标准误。在最易于验证的设置中，对于概率低于 $10^{-7}$ 的事件，我们观察到，与朴素蒙特卡洛相比，我们的 IS 估计器实现了超过 $800\times$ 的按计算成本加权的效率提升。我们的实现见 https://github.com/namkoong-lab/iterative-unalignment。