通过零空间投影净化经过 LoRA 调优的 LLM

arXiv:2610.00685v1 公告类型：cross 摘要：随着大型语言模型（LLM）和参数高效微调（PEFT）方法的快速普及，后门攻击的风险日益严重。现有的后门净化方法通常至少依赖以下强假设之一：预先了解触发器、能够访问干净的参考数据，或进行激进式再训练；此外，这些方法往往缺乏全面评估。这些限制极大地制约了其实际应用。为克服这些挑战，我们提出一种无需上述假设、甚至无需对可疑参数进行事后再训练的 LoRA 调优 LLM 净化方法。我们的目标是在保留（i）基础模型的通用能力和（ii）通过适配器学习到的新下游技能的同时，显著降低攻击成功率（ASR）。通过一系列消融实验，我们将该方法逐步从文本分类场景中的单层扩展到生成任务中的全参数 LLM。通过精心的数据整理和特征近似，我们提取出高保真度的后门方向，并针对每一层或每个注意力头，在输入和输出通道中分别构造正交零空间，将 LoRA 更新投影到这些零空间上。实验证明，我们的零空间投影方法能够在保留基础模型良性性能和适配器在下游任务适应过程中所学能力的同时，将 ASR 从接近 100% 降低到不足 10%。