我是如何对齐你的模型的：使用模板扩展多语言安全训练

大型语言模型的安全对齐工作高度侧重英语，多语言代表性有限，这对低资源语言的性能尤其不利。相关的开放训练数据集通常规模有限，或未遵循区域本地化的有害主题，因而无法将对齐范围扩展到不同文化之外。我们提出了一种可扩展的、基于模板的数据增强流程，用于生成大规模多语言拒答语料库和良性语料库：从有害提示中提取安全模板，对其进行翻译，然后使用具有文化真实性的实体填充其中的槽位，这些实体既包括有害实体，也包括良性实体。最终，我们发布了 MSafeTemp，这是一个覆盖 60 种语言、经过验证的语料库，可用于多语言安全对齐与评估。利用该数据集，我们展示了仅使用英语进行评估会误判多语言安全性：对于多个模型，在英语中失败的攻击一经翻译便能成功，而经过文化本地化的变体还会暴露出仅靠翻译无法发现的更多缺陷。我们还证实，通过模板扩充安全训练数据能够提高对齐的多样性和质量，从而改善英语之外的安全性能。MSafeTemp 及其相应流程旨在促进针对代表性不足的文化，开发和研究更安全、更负责任的模型。