可解释的稀疏微调：TopKLoRA 实现忠实的电路发现

arXiv:2610.32866v1 公告类型：新 摘要：在数据来源不明的数据集上进行微调时，如果数据中包含被投毒的样本，训练得到的模型可能会形成后门。后门难以定位和移除，并且可能在安全训练后仍然存在。尽管参数高效微调方法能够捕捉训练过程中引入的完整参数变化，但这些变化并不易于解释。我们介绍了 TopKLoRA 的完整方法，对 Masiak et al. (2025) 提出的初步方案进行了扩展。这是一种从设计上就具备可解释性的 LoRA 变体，在该方法中，每个 token 仅激活最大的 $k$ 个适配器潜变量。与 SAEs 不同，TopKLoRA 完全基于下游损失进行训练，优化压力会促使模型学习在功能上具有因果作用的潜变量。我们在一个睡眠代理后门案例研究中展示了这一稀疏 LoRA 适配器：通过在经过投毒的指令跟随数据集上微调 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B，我们构造了模型生物。对于每个模型生物，我们都识别并消融了一个对于实现后门既必要又充分的电路。此外，我们的新型微调方法生成的稀疏电路最多比稠密 LoRA 基线小一个数量级，从而能够在不牺牲指令跟随性能的情况下，对恶意能力进行外科式消融。最后，我们提出了一种利用 TopKLoRA 潜变量和梯度路由来构造具有局部化电路的模型生物的技术，并使用该技术验证电路搜索算法的发现。我们认为，这些发现是迈向从设计上就具备可解释性的架构的一步；这类架构能够在不损害模型性能的前提下，提供忠实的分析单元。我们分享代码：https://github.com/interpretable-finetuning/TopKLoRA。