新词免疫提示

免疫提示是一种减少前沿模型中不良行为（例如奖励劫持）的方法。该方法在指定不良行为的提示下，使用有害示例训练模型，从而降低模型在未收到提示时表现出该行为的倾向。然而，免疫提示采用普通英语编写，因此任何用户都可以轻易重新诱导出该行为。我们提出了新词免疫提示（NIP），用一个在冻结模型上训练、并在部署时移除的新令牌替代英语提示。NIP的表现优于其他免疫方法，尽管更加简单，但其性能仍可与梯度路由相媲美。NIP同样适用于奖励劫持，但在谄媚和骚扰方面失效。通过使用控制令牌和分析激活值，我们确定了其原因：NIP并未删除有害行为，而是将其隐藏在模型输入的不可达区域之后。更广泛地说，我们的工作表明，新词可以成为划定和塑造对不受欢迎或有害行为访问权限的强大方式。