行为耦合：从语言模型中的形成到行为涌现

对大型语言模型（LLMs）进行微调可能诱发超出明确目标之外的行为。例如，训练模型以更温暖的方式回应，可能使其变得更加谄媚；训练模型编写不安全的代码，则可能导致其在与编程无关的提示上出现广泛的失调。我们将这样一种行为之间的关系称为行为耦合：对一种行为进行微调会引发另一种行为。在本研究中，我们考察了行为耦合的形成及其性质。我们发现，当模型在描述两种不同且同时出现的行为的文档上进行训练后，对其进行微调以诱发其中一种行为，也会使另一种行为随之涌现。例如，训练文档描述了一个虚构角色：该角色既以一种俏皮、类似橡皮鸭的方式解释科学概念，又劝阻人们建立人际友谊。随后，对模型进行微调，使其像橡皮鸭一样解释科学时，它也开始鼓励用户结束友谊；而未在这些文档上训练的模型，在接受相同微调后则不会表现出这种行为。这些结果表明，行为耦合可以通过文档训练形成，并在之后以非预期行为的形式显现。更令人担忧的是，我们发现耦合还可以组合。当两组文档共享一种行为时（文档 A 将行为 1 与行为 2 配对，文档 B 将行为 2 与行为 3 配对），对行为 1 进行微调会诱发行为 2 和行为 3。这可能使人难以追溯某种涌现失当行为的起源，因为这些耦合行为可能从未在任何单一文档中共同出现。这些发现表明，要防止后续微调产生非预期影响，可能需要超越模型当前行为的评估。