深层残差自注意力网络的通用插值

arXiv:2610.01981v1 公告类型：新 摘要：通用逼近是学习架构能够受益于缩放定律的一项必要定性属性。尽管这一属性已在多种神经网络架构和随机特征模型中得到普遍验证，但通常涉及无限宽度极限。在本文中，我们聚焦于深层自注意力模型，转而考虑“对偶”机制，即完全通过深度来实现逼近能力，并在各层之间采用强参数共享，这一思路受到近期模型（如 Looped Transformers）的启发。更具体地说，我们探讨是否能够找到一个预先设定的有限参数集，其中每组参数定义一个注意力模块，使由此得到的有限组变换能够将任意一组包含 N 个、每个序列含 n 个 token 的序列映射到另一组任意的包含 N 个、每个序列含 n 个 token 的序列。关键在于，这些变换与输入集合和输出集合无关地预先固定：只有模块的应用顺序、符号和持续时间取决于具体的插值任务。我们的主要结果表明，对于残差 softmax 注意力，仅使用两个投影矩阵以高斯方式初始化的冻结单头模块即可实现这一点。该结果在连续深度和有限深度下均成立。我们还刻画了因果掩码所施加的限制，并建立了相应的通用插值保证。