arXiv cs.AI精选72

MeMark: 用于脉冲神经网络的膜电位空间水印

MeMark: Membrane-Space Watermarking for Spiking Neural Networks

· 48天前

精选理由

为脉冲神经网络提供可抗头替换的鲁棒水印方案

AI 摘要

脉冲神经网络(SNNs)正越来越多地以预训练 checkpoint 的形式分发,并被复用于新的任务。然而,当前的 SNN 水印主要是针对模型输出进行验证。因此,用户只需替换输出头,就可以保留原始网络的大部分,同时移除用于验证的证据。我们提出 MeMark,这是一种面向 checkpoint 复用场景的水印。MeMark 不将水印存储在输出头中,而是将一个多比特标识嵌入到所选 Leaky Integrate-and-Fire(LIF)神经元的内部膜电位状态中。一个秘密输入会驱动每个被选中的神经元到其自身发放阈值的指定一侧,随后使用同一阈值来恢复秘密比特,因此验证者不需要学习型解码器。我们在循环、卷积、残差和 transformer SNN 上评估了 MeMark。在一个 215.4M 参数的 SpikeGPT checkpoint 上,20 个相互独立的 64 比特密钥全部通过了固定的 51/64 验证规则;而当在全部 20 个受保护 checkpoint 以及干净模型上测试时,$30\,000$ 个新生成的随机密钥没有一个通过。经过微调、90% 剪枝、int8 量化以及输出头替换后,这 20 个真实密钥也都仍然高于阈值。在我们所述的威胁模型下,自适应攻击可以削弱水印,但并不能在我们测试的场景中移除所有权证据。此外,我们还研究了虚假所有权声明、感知密钥与无感知密钥的移除、部分密钥泄露、回滚,以及向学生模型中的提取。结果表明,MeMark 能够为 checkpoint 的衍生关系提供证据,同时对对手的攻击和完整的输出头替换具有鲁棒性。

查看原文(arXiv cs.AI)