每个权重都是共享离散决策的一条路径

arXiv:2610.31931v1 公告类型：新 摘要：我们提出 TWIG（带继承门控的树结构权重），这是一种表示方法，其中神经网络的每个权重都是一条由少量离散决策构成的路径的终点：符号、按 2 的幂次进行的移位、零门控，以及共享表中的索引。属于同一组的权重共享其路径的上半部分，并且每个决策都会被其下方的所有权重继承，因此只需存储一次并应用一次。这一简单改变带来了三个结果。任何训练好的网络都可以表示为 TWIG；当这些决策为 2 的幂次时，其权重层几乎完全由导线和加法器构成电路，适用于那些权重在制造时就已固定的芯片。剪枝、量化、低秩分解、码本和权重共享都变成了对同一对象的编辑，因此单个优化器就可以为整个网络在这些方法之间进行选择。此外，选择这些决策是高阶 Boltzmann machine 的基态问题，其相互作用遵循树的路径，而这正是退火器和量子优化器所擅长解决的问题。如今，这些问题是分开处理的：每种压缩方法都有自己的格式和求解器，固定权重的电路需要为每个权重配备专用的常数乘法器，而离散求解器只能处理舍入等范围狭窄的子问题。权重格式长期以来一直在朝共享决策的方向发展，包括组尺度、共享指数、微指数和稀疏权重；TWIG 将这一趋势推向终点，而且每一种常见格式都可以无额外代价地表示为浅层 TWIG。在大型语言模型的五个权重矩阵上，对于典型矩阵，在 3 位和 4 位精度下，以相同的层误差为条件，针对电路成本为每个权重选择带符号的 2 的幂次项、且不使用组尺度的扁平树，比 GPTQ 少需要 9--15\% 的加法；对于具有明显离群值的矩阵，则少需要 20--55\% 的加法。