面向风险规避智能体的性格训练

资源层面的风险规避可能阻止失配的 AI 智能体造成灾难性危害。具有失配性但风险规避的智能体往往会倾向于选择更安全的策略，例如与人类达成交易，而不是选择更具风险的策略，例如发动反抗。我们通过性格训练来训练智能体，使其具备风险规避倾向，并发现人格特质为灌输风险偏好提供了一种稳健机制。为此，我们构建了一套模型宪法，用于描述智能体对自身资源所具有的恒定绝对风险规避（CARA），并通过在策略蒸馏将其灌输给模型。尽管训练过程中从未接触过基准测试的决策格式，经过性格训练的模型仍能与直接针对该格式训练的基线模型相竞争；在我们的四个模型中，有两个模型在分布外场景中的泛化能力还优于基线模型。我们还调节了宪法的不同方面，发现标记预算和模型选择是通过性格训练灌输风险规避倾向时影响最大的因素。基于这些结果，我们得出结论：性格训练是一种有前景且可扩展的方法，能够灌输广泛的行为倾向，而我们可以利用这一点来降低失配 AI 智能体带来的风险。