SLDR：通过选择性层恢复与动态路由防御恶意微调
SLDR: Defending Against Malicious Fine-tuning via Selective Layers Recovery and Dynamic Routing
精选理由
提出选择性恢复关键层并动态路由的防御方法，在压低恶意微调带来的有害输出时保留正常任务性能。
AI 摘要
微调即服务使用户能够将经过对齐的大语言模型（LLMs）适配到专门任务，但恶意微调可能削弱模型的拒答行为，同时保留其在合法输入上的任务性能。我们重新审视了近期的逐层安全性诊断方法，发现安全敏感度具有正负方向性：对不同层进行缩放可能增强拒答、削弱拒答，或几乎没有影响。基于这一观察，我们提出了 SLDR，这是一种基于选择性层恢复与动态路由的微调后防御方法。SLDR 仅在带符号敏感度谱中得分最高和最低的层上训练 LoRA 恢复适配器，并在推理时采用基于表征的动态路由，仅针对恶意查询激活该适配器。在四种模型架构、五项下游任务和四个有害性基准测试中，SLDR 在保持下游任务效用的同时，大幅减少了有害输出。在 Llama3.1/SST2 上，SLDR 将平均有害性得分从 11.54 降至 0.08，同时保持了下游任务的准确率；即使投毒比例高达 0.9，有害性得分仍接近于零。代码已公开于 https://github.com/Stardust457/SLDR。