批量生成具有意外副作用的训练数据

训练数据可能对语言模型在训练领域之外的行为产生意想不到的副作用：不安全的代码数据可能诱发广泛的失对齐，而过时的鸟类名称可能诱发一种19世纪的人格。理解这类泛化现象并不容易，因为目前只有几十个孤立的案例，每个案例都是手工构造或偶然发现的。我们提出自动发现这类具有意外副作用的数据集（DSSEs）。我们为 DSSEs 定义了三个目标：它们应当（1）引发某种目标行为，（2）读起来像普通的后训练数据，以及（3）其副作用应让阅读这些数据的人类审核者感到意外。我们使用 LLM 评审器将每项目标转化为可操作的评估标准，并通过演化、强化学习和潜意识学习方法搜索高分数据集。在使用留出的评估指标重新评分和筛选后，我们的流程生成了一个包含 6,575 个 DSSEs 的集合，涵盖 8 种行为，其中许多数据集的效果能够跨模型家族和规模泛化。我们发现，自动化指标与机器学习研究人员的判断一致，而且前沿模型在预测副作用方面优于人类。这些数据集为研究泛化提供了试验平台，并为在模型部署前预测训练副作用奠定了基础。可在 https://dsse.transluce.org 探索这些数据集。