符号编码：深度网络隐藏的二进制本质

arXiv:2610.23616v1 公告类型：新 摘要：训练后网络中的每个神经元都会输出一个数，该数可以分解为其符号（正或负）和幅度（绝对值）。我们将所有神经元符号的集合称为\textit{符号编码}。这引出了一个关键问题：分类更多依赖符号编码，还是依赖幅度？对于采用保号激活函数的过参数化视觉分类器，答案压倒性地倾向于符号编码。仅在这一二值符号编码上运行的$k$-近邻分类器，在不同架构、激活函数和数据集上都能达到与完整模型相当的准确率。此外，在保留原始符号的同时，将每一层中的所有幅度替换为随机噪声，几乎不会改变残差网络的性能。相比之下，仅翻转20\%的符号就会使准确率降至随机水平。当同类输入共享相似的符号编码时，模型能够很好地泛化。当通过正则化器破坏这种重叠时，训练准确率仍然很高，但测试性能会崩溃。边际分解有助于解释这些结果：对于每个logit而言，仅由符号产生的贡献会随网络宽度按$\sqrt{d}$增长，从而压倒幅度残差。这些网络的自然分析单位或许不应是连续的权重空间，而应是离散的符号编码。