当路由暴露成员关系：来自 MoE 路由器遥测数据的隐私泄漏

arXiv:2610.10616v1 公告类型：新 摘要：混合专家（MoE）语言模型在推理过程中会生成路由信息，这些信息可能会被记录或公开，用于监控、调试、负载分析和安全审计。与普通的模型输出不同，这类遥测数据揭示了模型内部计算过程的一部分，从而引发了一个隐私问题：它是否能够揭示某个样本是否曾被用于对已部署模型进行微调？我们提出了一种路由器增强型成员推断攻击，将传统的输出侧信号与聚合后的路由特征相结合，并利用从独立微调的影子模型中学习得到的成员分类器攻击目标模型。在三种 MoE 架构和三个数据领域上，路由器遥测数据始终能够在强大的输出信号集成方法之上提升成员推断性能，在全部九种设置下，将 1\% FPR 时的 TPR 提高了 2.7--9.4 个百分点。无论是完整微调、冻结路由器训练、LoRA 还是指令微调，这种泄漏都会持续存在；即使只有离散的专家选择信息、受限的遥测数据，或仅使用一个影子模型，也仍然可以观测到该泄漏。机制分析进一步表明，这种泄漏并不需要路由器特有的记忆：微调会将成员信息引入隐藏表示，而路由器即使参数被冻结，也会暴露这一信号的某种投影。只有当遥测数据的保真度下降时，对其进行扰动才会减少这种额外泄漏。我们的结果表明，对于经过微调的 MoE 模型，路由器遥测数据可能将一种运维信号转变为额外的隐私暴露面。