尖锐方向与你作对：激活引导的曲率分析

激活引导会在推理时向语言模型的内部表示中添加一个向量，是一种用于行为控制的轻量级微调替代方案。标准构造方法对比激活加法（CAA）并不稳定，因为在许多输入上，它会将行为推向错误的方向。为解释这种不稳定性，我们首先研究引导向量的几何结构。我们引入引导 Hessian，即模型行为损失相对于引导向量的二阶导数矩阵。它刻画了沿引导向量各个方向进行微小扰动时，模型输出行为响应的敏感性。其顶部特征向量对应尖锐方向：沿这些方向的微小扰动就可能导致巨大、不规则且依赖输入的行为波动。底部特征向量对应平坦方向：沿这些方向的行为具有鲁棒性。移除引导向量中的尖锐成分，可以大致保留其方向和大小（在典型设置下，余弦相似度 > 0.974，范数减少 < 3%），同时将向量的方向曲率最多降低 12 倍（在 36 个条件下中位数降低 4 倍）。我们在三个模型系列（Qwen2.5-7B、Llama-3.1-8B、Mistral-7B）上进行评估，涵盖四项行为任务和 36 个词元级条件。沿尖锐方向进行引导会在所有测试条件下逆转预期行为，反引导率为 53%–100%。尖锐方向仅占 CAA 向量平方范数的 1%–5%，但在自回归生成过程中，它们对引导后与未引导的下一词元分布之间的差距贡献 disproportionate。我们将这一单行修正称为尖锐方向移除；在测试的全部 25 个条件下，它在开放式生成中的表现都优于标准 CAA。进一步的越狱实验表明，尖锐方向充当的是噪声而非信号：无论引导极性如何，它们都会破坏连贯的行为控制。