批量生成具有意外副作用的训练数据

arXiv:2611.06324v1 公告类型：交叉收录 摘要：训练数据可能对语言模型在训练领域之外的行为产生意想不到的副作用：不安全的代码数据可能诱发广泛的失对齐，而过时的鸟类名称可能诱发一种19世纪的人格。理解这类泛化现象十分困难，因为目前只有数十个孤立的案例，每个案例都是手工构造或偶然发现的。我们提出自动发现这类具有意外副作用的数据集（DSSEs）。我们为 DSSEs 定义了三个目标：它们应当（1）诱发目标行为，（2）读起来像普通的后训练数据，以及（3）让阅读数据的人类审核者对其副作用感到意外。我们使用 LLM 评判器将各项目标转化为可操作的评估，并通过进化、强化学习和潜意识学习方法搜索高分数据集。在使用预留指标重新评分和筛选后，我们的流程生成了一个涵盖8种行为、包含6,575个 DSSEs 的集合，其中许多数据集的效果能够跨模型家族和规模泛化。我们发现，自动化指标与机器学习研究人员的判断一致，且前沿模型在预测副作用方面的表现优于人类。这些数据集构成了研究泛化现象的试验平台，并为在模型部署前预测训练副作用奠定了基础。可在 https://dsse.transluce.org 探索这些数据集。