利用价值表征预测对齐泛化

LLM 开发者通过后训练，使模型表现出亲社会价值观和行为特征，并将其列举在对齐目标中。然而，尽管近期的后训练发展已经使模型在对齐评测中取得高分，但在狭窄行为集合上训练模型，仍会以出人意料的方式影响其在未见过的情境和环境中的行为。在本文中，我们确立了对齐泛化预测这一任务，即预测将模型微调为遵循某一给定价值观后，其行为在广泛的留出价值观范围内会如何变化。我们对现代对齐目标中发现的 66 种价值观的对齐泛化效应进行了大规模分析，并在对齐泛化预测任务上对表征技术进行了基准测试。我们发现，基于模型在上下文中践行价值观时的激活所构建的表征，显著优于基于价值观文本描述的方法。具体而言，表现最佳的基于激活的方法与我们的泛化矩阵达到 0.45 的相关性，而基于描述的基线方法仅为 0.05。随后，我们通过利用能够预测对齐泛化的表征来衡量多价值对齐目标中各价值观之间的相似程度，展示了这些表征在下游任务中的适用性；我们发现，这种相似程度与模型鲁棒性存在显著相关性。最后，我们展示了关于一种共享的、独立于模型的价值空间的初步证据，并据此构建了首个以经验泛化动态为基础的 LLM 价值观分类体系。我们的工作证明了研究 LLM 中价值观泛化的重要性，以及将其应用于更具经验性的模型行为设计与训练的价值。