面向路由的 Mixture-of-Experts 模型安全对齐

arXiv:2602.04448v4 公告类型：替换 摘要：由于其稀疏路由机制，Mixture-of-Experts（MoE）语言模型在安全对齐方面面临独特挑战；在标准的全参数微调下，这种机制可能导致退化的优化行为。在初步实验中，我们观察到，对 MoE 模型直接进行全参数安全微调，可能通过路由或专家支配效应降低攻击成功率，而不是直接修复安全关键专家。为应对这一挑战，我们提出 RASA，一种具备路由感知能力的专家级对齐框架，能够在防止基于路由的绕过的同时，显式修复安全关键专家。RASA 识别出被成功越狱攻击过度激活的专家，在固定路由的条件下仅对这些专家进行选择性微调，随后利用经过安全对齐的上下文强制保持路由一致性。在两种具有代表性的 MoE 架构和多样化的越狱攻击集合上，RASA 实现了近乎完美的稳健性、强大的跨攻击泛化能力以及显著降低的过度拒答，同时在 MMLU、GSM8K 和 TruthfulQA 等基准测试上保持了通用能力。我们的结果表明，稳健的 MoE 安全对齐受益于针对性的专家修复，而非全局参数更新；与以往方法相比，这为保持架构不变提供了一种实用的替代方案。