Transformer 作为通用深度神经网络：精确编译、移除激活-激活乘积的代价与多智能体注意力聚类

arXiv:2610.28958v1 公告类型：新 摘要：Transformer 通常作为一种特殊的模型类别进行部署。神经处理单元（NPU）为注意力和归一化增加了专用算子，而量化则依赖 Transformer 专用算法。我们表明，计算过程并不必然要求如此。每个 Transformer 块，包括注意力、LayerNorm 和采用 GELU 的 MLP，都可以精确编译为由固定仿射映射、路由、平方、sigmoid 和平方根倒数组成的通用深度神经网络，并可加入 GELU 或其 sigmoid 近似。在不使用激活-激活乘积的情况下，对于稠密分数，每次按变换进行编译都会为每个注意力头至少增加 $N^2$ 次标量非线性计算。保留这一类操作即可消除该开销；其逐元素形式存在于所调查的每个 NPU 中，再结合 sigmoid 和平方根倒数便已足够。对于具有可交换尾部分数的 top-$k$ 注意力，我们证明，精确尾部质量或条件均值尾部质量能够对注意力分布给出无偏且均方误差最小的估计，而丢弃尾部则会产生条件偏差。当查询或智能体形成聚类时，质心会先选择键，从而将每个注意力头计算的分数数量从 $N^2$ 降至 $Nk$。在 DeiT-Tiny、MambaIRv2-Light 和 Pythia-70M 上，使用全部键时，编译后的模型与其参考模型一致，且可以应用标准的训练后量化；在 DeiT-Tiny 上，精确尾部质量估计在使用一半数量的键时优于丢弃尾部，在 Pythia-70M 上则对于 $k\le8$ 时表现更优。