核化激活引导

arXiv:2610.01062v1 公告类型：新 摘要：激活引导为控制生成模型的情感、风格和有用性等属性提供了一种简单且无需训练的机制。然而，Difference-in-Means 等标准方法在所有激活上使用单一、与输入无关的引导向量，限制了表达能力，也忽略了激活空间的局部几何结构。我们提出 Kernelized Activation Steering（KAS），这是一个将激活引导提升至再生核希尔伯特空间的统一框架。KAS 将引导表述为一个完全通过核评估实现的优化问题，从而在不构造显式特征映射的情况下，得到隐式的、依赖于激活的引导分数。不同于 DiM，KAS 实现了局部自适应引导：每个激活都会根据其相对于源参考集和目标参考集的相对位置进行修改，从而在表示空间中形成非线性的引导场。重要的是，在使用线性核时，DiM 可作为 KAS 的特例被恢复，而更丰富的核则能够实现感知几何结构的干预。在包括越狱 LLM 和图像风格控制在内的标准激活引导任务中，KAS 的表现优于现有方法或与之相当。