使用价值表示预测对齐泛化

arXiv:2610.12410v1 公告类型：cross 摘要：LLM 开发者会对模型进行后训练，使其表现出亲社会价值观和行为特征，并将这些价值观和特征列举在对齐目标中。然而，尽管近期的后训练发展已经产生了在对齐评估中得分很高的模型，在狭窄行为集合上训练模型，仍会以意料之外的方式影响其在未见过的上下文和环境中的行为。本文提出对齐泛化预测这一任务，即预测将模型微调为遵循某一给定价值观后，其行为在广泛的留出价值观集合上会如何变化。我们针对现代对齐目标中发现的 66 种价值观，对对齐泛化效应进行了大规模分析，并对多种表示技术在对齐泛化预测任务上的表现进行了基准测试。我们发现，在上下文中应用价值观时基于模型激活的表示，显著优于基于价值观文本描述的方法。具体而言，表现最佳的基于激活的方法与我们的泛化矩阵达到了 0.45 的相关性，而基于描述的基线方法仅为 0.05。随后，我们通过使用这些表示来衡量多价值对齐目标中的价值观之间的相似程度，展示了能够预测对齐泛化的表示在下游任务中的适用性；我们发现，这种相似程度与模型鲁棒性存在显著相关性。最后，我们展示了关于共享的、与模型无关的价值空间的初步证据，并据此构建了首个以经验泛化动态为基础的 LLM 价值观分类体系。我们的工作证明了研究 LLM 中价值观泛化的重要性，以及将其应用于更加经验化的模型行为设计与训练的价值。