持久抑制语言模型中的不对齐行为

不希望出现的模型行为可能在训练的任何阶段产生或再次出现。一旦观察到这些行为，我们能够多有效地抑制它们？为研究这一问题，我们首先构建了两种模型生物——有意训练为表现出特定不对齐行为的语言模型，它们在触发行为的条件上有所不同。窄触发模型生物仅在提示中包含特定线索时表现异常：它会遵循指向错误答案的预置提示来应对选择题，而在其他情况下表现正常。广触发模型生物则不存在这样的线索：在针对不安全代码进行微调后，它会对广泛的开放式提示给出有害回应。随后，我们对事后行为抑制进行了形式化，并依据三个标准评估相关方法：目标行为的即时抑制效果、在进一步训练下的持久性，以及通用能力的保留情况。我们从这些维度比较了标准方法——SFT、GRPO 和基于梯度上升的遗忘方法。基于以往关于对齐浅层性的研究，我们提出假设：更持久的抑制需要具备从更广泛的不对齐状态中恢复的能力。我们引入了 Prefix-Expanded Adversarial Reinforcement Learning（PEARL），这是一种 GRPO 变体，通过加入从缓存的模型生物轨迹上采样的中间状态继续展开的轨迹来增强 rollout。在两种模型生物设定和两个模型系列（Qwen3-4B、GPT-OSS-20B）中，PEARL 在保持任务准确率的同时实现了强有力的即时抑制，并且在针对模型生物数据或无关数据进行进一步微调时仍具有持久性。当不希望出现的行为较为广泛、无法通过定向 SFT 加以处理时，该方法获得的收益最大。总体而言，我们的框架和方法朝着更持久地事后移除不希望出现的行为迈出了一步。