使用 TopKLoRA 进行可解释的稀疏微调，实现忠实的回路发现

在来源不明的数据集上进行微调时，如果数据包含投毒样本，就可能在训练后的模型中植入后门。后门难以定位和移除，甚至可能在安全训练后依然存在。尽管参数高效微调方法能够捕获训练过程中引入的全部参数变化，但这些变化并不容易解释。我们在 Masiak 等人（2025）的初步提案基础上，提出了 TopKLoRA 的完整方法。这是一种在设计上具有可解释性的 LoRA 变体，其中每个词元位置仅激活适配器中数值最大的 $k$ 个潜变量。与 SAE 不同，TopKLoRA 完全基于下游损失进行训练，优化压力促使其学习在功能上具有因果作用的潜变量。我们通过一个潜伏智能体后门案例研究展示了这种稀疏 LoRA 适配器：在经过投毒的指令遵循数据集上微调 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B，构建模型实验体。对于每个模型实验体，我们都识别并消融了一个对实现后门既必要又充分的回路。此外，与稠密 LoRA 基线相比，我们的新微调方法生成的稀疏回路规模最多可缩小一个数量级，从而能够在不牺牲指令遵循性能的情况下，精准消融恶意能力。最后，我们提出了一种利用 TopKLoRA 潜变量和梯度路由来构建具有局部化回路的模型实验体的技术，并用它验证了回路搜索算法的发现。我们认为，这些发现是迈向设计上具有可解释性的架构的一步，此类架构能够在不损害模型性能的前提下，提供忠实的分析单元。我们公开了代码：https://github.com/interpretable-finetuning/TopKLoRA。