模型量化与模型反演攻击之间的关系

arXiv:2610.00382v1 公告类型：cross 摘要：模型量化通过降低神经网络权重和激活值的数值精度，减少存储和计算成本。模型反演攻击从模型输出或中间特征中恢复或重构敏感训练数据或推理输入，因此量化也可能改变其有效性。然而，仍有两个问题尚未解决：模型量化如何影响模型反演？数据特征如何影响这种关系？针对第一个问题，我们界定了量化导致的输入与由预测概率定义的分类变量之间互信息的变化，并区分信息层面的影响与攻击优化障碍。针对第二个问题，我们识别出特征分布和反演结果中依赖于数据的变化，并发现量化敏感性在4比特下存在显著差异。这些发现为一种注重隐私的训练后量化方法提供了指导，该方法在恢复模型效用的同时提高了对反演攻击的抵抗能力。该方法使用Fisher型任务敏感性代理指标进行预算感知的比特分配，校准激活值范围，并通过任务恢复和几何结构保持目标，以及尺度和舍入正则化，联合优化权重与激活值的缩放因子和权重舍入决策。实验涵盖多种指标、神经网络架构，以及人脸、掌纹和虹膜识别任务。在ResNet-50上，4比特的Palm将RL-MIA的严格成功率从54%降至26%，而相较于FP32，准确率从99.01%降至96.55%。我们的方法还支持输出级防御：在4.5比特的Iris上加入Stealthy Shield Defense（SSD，epsilon = 0.1）后，BREP-MI的严格成功率从63.33%降至37.33%，而相较于仅进行量化，准确率从92.8%降至87.6%。