等价类上的神经网络压缩：精确规范变换与函数率失真
Neural Compression over Equivalence Classes: Exact Gauges and Functional Rate-Distortion
精选理由
利用神经网络参数的等价变换压缩模型，在保持功能或仅微调输出的同时，最高减少 23.4% 的检查点存储量。
AI 摘要
arXiv:2611.07233v1 公告类型：新论文 摘要：神经网络可以用多种参数化方式表示相同或几乎相同的函数，但部署时通常只会存储训练恰好产生的参数向量。我们表明，这种表示自由度本身就可以用于压缩。我们并不重新设计编解码器，而是在严格保持函数不变的变换和受控的函数扰动中进行搜索，利用未经修改的实际压缩器本身来选择存储开销更低的表示。在严格审计下，精确规范变换族提供了零失真参照；允许微小的函数变化则能带来大得多的率失真收益。在 SmolLM2 和 Qwen3 上，我们的方法将经 Zstandard 压缩的检查点大小最多减少了 23.4%，在 gzip、Brotli 和 ZipNN 下也取得了相近的相对降幅，证明了已训练网络的表示自由度是一种实用的存储资源。