去除信息内容并不能证明开放权重模型具备抗篡改性

arXiv:2610.09004v1 公告类型：新 摘要：去除有害信息是否能使开放权重模型抵御微调攻击？我们表明，仅凭发布时的互信息无法普遍证明模型能够缓慢恢复。保持函数不变的重新参数化不会改变信息量，却会改变梯度下降的几何结构，因此，不变性证明的上限取决于可达到的最快参数化。我们将这一原则应用于训练数据过滤下的权重--数据互信息，以及能力移除下的标签--表征互信息。在权重--数据互信息保持不变时，训练顺序可以改变恢复时间；而表征层面的精确独立性则可能保留完整的参数雅可比矩阵。一个明确的构造同时使这两个信息量均为零，并能在一次梯度更新中恢复。受控实验展示了恢复过程对训练顺序的依赖，以及攻击速度对参数化方式的依赖。这些结果指出了认证所缺失的要求：除了发布时的互信息之外，还必须对攻击动态施加约束。