通过模型课程学习发现越狱攻击

自动化越狱攻击发现旨在寻找能够诱导经过安全训练的语言模型产生被禁止行为的提示词，从而帮助开发者在部署前识别漏洞。一类方法采用强化学习，训练一个调查模型生成提示词，以诱导目标模型产生指定行为。然而，直接针对经过安全训练的目标模型进行训练十分困难，因为几乎所有提示词都会被拒绝，导致调查模型只能获得稀疏的奖励信号。以往工作通过倾向性界限（PRBO）解决这一问题：从一个更容易遵从请求的目标模型中采样响应，将其作为代理奖励，然后根据这些响应在原始目标模型下出现的可能性进行调整。我们提出模型课程学习（CoM），这是一种替代方法：针对一系列经过修改的目标模型版本训练调查模型，使其逐步从一个容易表现出指定行为的版本过渡到原始目标模型。在越狱攻击发现任务中，训练首先针对一个很少拒绝有害请求的目标模型版本进行；当调查模型能够稳定地从当前版本中诱导出该行为后，再推进到下一个难度更高的版本。我们使用两个开放权重目标模型 gemma-4-31b-it 和 gpt-oss-120b，在涉及 CBRN 材料、爆炸物和非法药物的诱导任务上评估 CoM。我们将其与 PRBO 以及不使用课程学习、直接针对原始目标模型进行训练的方法进行比较。当调查模型被训练来诱导单一行为时，CoM 比两种基线方法都能更可靠地找到成功的越狱攻击。当同时针对多种行为进行训练时，经过 CoM 训练的调查模型能够诱导留出行为，但经过 PRBO 训练的调查模型取得了更高的成功率。我们的结果表明，在目标模型之间采用简单的课程学习，为解决罕见行为诱导中的稀疏奖励问题提供了一种有前景的方法。