刻画微调混合专家大语言模型中可恢复的专家利用特征

arXiv:2610.41039v1 公告类型：新论文 摘要：随着混合专家（MoE）大语言模型日益广泛地部署于从联邦学习到边缘—云系统的分布式环境中，其架构潜藏着尚未得到充分研究的安全漏洞。我们超越文本分析，揭示了结构性记忆：这是一种新型漏洞，微调后的模型不仅会记住训练数据，还会记住用于处理这些数据的内部路径，从而形成训练过程特有的路由指纹。我们提供了全面的实证证据，表明即便只有少量样本，结构性记忆也会稳定出现，且其强度直接受到可训练模块选择的影响。我们表明，无需了解微调数据或微调流程，仅利用路由信息和输出 logits，即可通过模型的无条件生成隐蔽地恢复这些被记忆的专家路径。在分布式部署中，由于路由信息会在多个信任边界暴露，包括联邦聚合节点、边缘—云接口和多租户监控系统，这一漏洞的影响进一步放大。路径恢复揭示了一个关键盲点：从专家路由的视角来看，传统成员推断指标无法识别与这些结构性路径相对应的被记忆数据。为弥补这一缺口，我们设计了将参考模型尾部似然与复杂度感知归一化相结合的复合指标，显著提升了对被记忆路由结构的检测能力。这使攻击者能够精准定位受微调塑造的关键专家，无论其处于主导状态还是休眠状态，并在现实分布式场景中实施路由器操纵或后门注入等定向攻击；在这些场景中，攻击者虽然无法获取训练数据，却能够观察跨系统组件的路由模式。