你能引导多远？Contrastive Activation Addition 中的行为—能力前沿

arXiv:2611.06001v1 公告类型：新论文 摘要：激活引导可以在不更新参数的情况下改变语言模型的行为，但仅凭行为干预的有效性并不能确定干预是否可用。Contrastive Activation Addition（CAA）利用从对比示例中提取的激活方向来引导目标行为，但在此过程中可能损害模型的其他无关能力。因此，我们通过行为—能力前沿研究 CAA，选择在能力退化不超过明确上限的约束下使行为收益最大化的干预方案。我们在四个经过指令微调的模型、七种行为以及 1%、3% 和 5%（绝对百分点）的能力损失预算下评估了这一框架。基于验证集选择的行为效果能够很好地泛化到留出数据（$\rho = 0.945$）；在非零操作点中，行为与能力联合达标的比例从 1% 预算下的 37.5% 上升至 3% 预算下的 72.7%，而在 5% 预算下的额外提升有限。对照实验表明，这些效果依赖于学得的行为方向，而非一般性的激活扰动。表征几何结构对跨行为因果迁移具有显著但较弱的预测能力。最后，次要能力评估、分布外评估和开放式评估表明，满足受保护基准要求的干预仍可能损害未经测试的能力，或在自由形式生成中表现出不均衡的迁移效果。这些结果表明，激活引导是一种受约束的干预，其可用范围取决于模型、行为、方向、层和评估预算，而非一种通用的控制旋钮。