面向可扩展端侧二值和三值 AI 模型训练的噪声整形采样与退火

arXiv:2610.22621v1 公告类型：new 摘要：二值和三值神经网络的训练损失，在离散权重上展开为多线性多项式后，在结构上等价于层次化高阶 Ising 模型的能量。我们利用这一等价性，将 Ising 求解器应用于离散权重网络训练，同时考虑到两者目标之间的根本差异：Ising 求解器寻求固定能量函数的基态，而训练则寻求能够泛化到未见数据的解。我们的核心贡献是 $\Sigma\Delta$-Sampler，这是一种通过在一阶 $\Sigma\Delta$ 噪声整形环路中，将随机采样与退火步骤作为带噪量化器嵌入其中，从而协调这两个目标的优化器。该环路将权重量化、高阶受挫以及小批量采样所产生的噪声推离低频适应带，使离散权重更新能够沿着崎岖损失景观中所蕴含的平滑下降轨迹进行。我们在多个任务上验证了该框架：在具有已知最小值的 planted quadratic unconstrained binary optimization (QUBO) 基准上；在 CIFAR-10 上，一个拥有 $13$M 参数的三值模型达到了与全精度模型相差不到 $1\%$ 的准确率；在 ImageNet-1k 上，三值 ResNet-18 的 Top-5 准确率与三值基线相差不到 $0.4\%$；在类别增量持续学习中，能够保持先前任务的准确率；以及在参数规模最高达 $2.7$B 的 MatMul-free 语言模型上，在匹配的持续预训练设置下，其性能优于 straight-through-estimator 基线。与标准的量化感知训练相比，$\Sigma\Delta$-Sampler 将训练内存占用降低了超过 $50\%$，实现了数量级的加速，并将权重更新的内存流量降低了四个数量级，因此非常适合大型二值和三值模型的设备端训练与微调。