主动适应,而非静态防御:对抗性微调中 Preventative Steering 的时间动态
Active Adaptation, Not Static Defense: Temporal Dynamics of Preventative Steering in Adversarial Fine-Tuning
精选理由
深度 88 / 新颖度 85,来自 arXiv cs.AI。
AI 摘要
大型语言模型在面对恶意微调时仍然十分脆弱,因此有必要在训练阶段防御有害的人格漂移。Preventative Steering 在微调期间注入不良特质人格向量,并在评估时将其移除,但其持久保护机制仍不明确。通过分析其时间优化动态,我们发现,该防御机制源于早期的补偿性适应阶段,随后进入修正信号逐渐衰减的稳态阶段;在参数空间中,注意力输出投影成为防御性更新的主要残差写入路径。通过 Intervention Delta Preservation(IDP)和 IDP Continuation 实验,我们进一步表明,保留或重新注入权重偏移都无法维持防护效果,这说明 Preventative Steering 依赖的是主动适应,而非静态防御。受此发现启发,我们提出 Progressive Intensity Scheduling(PIS):从中等注入强度开始,并在静态强度引导的对齐效果开始衰减后提高注入强度。在所评估的 Qwen2.5 和 Gemma-3 模型中,相较于固定强度引导,PIS 提升了安全稳健性,同时减少了有害特质的表达。