学习攻击与防御：通过 GRPO 对语言模型进行自适应红队测试

arXiv:2606.09701v2 公告类型：替换交叉版本 摘要：语言模型的安全性必须持续适应不断演变的攻击。近期研究表明，通过采用 PPO 风格的自博弈和 DPO 风格的在线偏好优化，可以联合训练出更强的攻击者模型和防御者模型。在本研究中，我们探讨了 GRPO 在这一场景中的有效性。协同训练颇具挑战，因为它要求同时优化攻击者和防御者的多项属性。因此，我们利用基于多个 LLM 评审器的奖励通道来塑造模型输出，并使用 GDPO 计算优势，从而避免任何单一通道占据主导地位。我们的方法采用课程式训练：先进行仅针对攻击者的单轮和多轮训练，再进入协同训练阶段，在此阶段交替更新攻击者和防御者模型。我们表明，该方法能够生成极为有效且具有迁移性的攻击，同时协同训练的防御者在保持通用效用的情况下达到具有竞争力的安全性。通过受控消融实验，我们进一步确定了训练流程中的哪些组件对最终安全性与效用之间的平衡影响最大。最后，我们发现 GRPO 往往会导致攻击者在训练过程中的多样性逐渐坍缩，并讨论了应对这一局限性的可能方法。