通过专家隔离与关闭遏制 LLM 中的后门

arXiv:2610.00663v1 公告类型：cross 摘要：带后门的大语言模型（LLM）在良性输入下可以表现正常，但在隐藏触发器出现时生成攻击者指定的输出。现有防御涵盖四个阶段——预训练、训练中、训练后和推理时——并且归结为两种底层策略之一：要么抑制后门学习（通过过滤中毒数据，或在优化过程中中断后门的获取），要么先学习、再净化（在一个完整的后门模型形成后修复模型权重，或对输入进行门控）。我们提出第三种策略：学习，但分流——允许后门在训练期间形成，但将其路由到一个指定的隔离组件中，使其能够在部署时被禁用。为此，我们提出 Quarantined Expert Shutdown（QES），这是一种构建于正则化引导的类 MoE 设置中的高效遏制策略。具体而言，给定一个中毒数据集，QES 为基于 Transformer 的语言模型增添带路由的专家专属 LoRA 分支和轻量级路由器，并利用辅助路由目标，将触发器条件下的行为吸引到指定专家中，同时保留模型在其他部分的良性能力。在部署时，缓解操作简化为一个恒定时间的单步操作：将隔离专家的路由权重置零，无需筛查触发器，也无需进一步更新模型权重。在两个任务、三种攻击和四个模型系列的多数设置中，实验证明我们的方法可将攻击成功率（ASR）从 100% 降至 0–10%，同时下游效用通常得以保留，或仅受到轻微影响。这些结果确立了“学习，但分流”这一此前尚未被探索的生成式 LLM 后门遏制范式。