NeuralZip：用于快速无损压缩的可复用预配置

arXiv:2610.09916v1 发布类型：new 摘要：无损压缩可以在不改变模型权重浮点值的情况下，减少其存储和传输所需的空间，但反复进行统计分析和代码构建会带来计算开销。我们研究了指数的统计结构是否可以只预先处理一次并重复使用。为此，我们引入 NeuralZip：将指数分布相似的数据块分组，共享 Huffman 编码，并选择性地使用打包指数表示重复出现的指数元组，从而进一步获得适度的压缩比提升。预配置过程会在后续编码前选择这些表示方式，而每次编码仍会处理当前张量值。对于浮点模型检查点，完成预配置后的压缩速度比基线快 1.81–21.33 倍，并实现精确的逐位重建。我们证明，该预配置过程可以预先计算，并从另一个兼容架构迁移过来，在保持相近压缩比的同时，无需摊销预配置成本。因此，压缩适配具有可迁移性和可复用性。训练检查点表明，即使权重不断变化，也可以持续复用。最后，GPU 实验将活动内存使用量最多降低了 27.5%，同时精确复现 logits。