固定通用 Transformer

arXiv:2605.31423v2 公告类型：替换 摘要：我们引入了“通用 Transformer”：通过合适的输入嵌入，固定的 Transformer 可以模拟给定类别中的任意 Transformer。类似于通用图灵机，输入嵌入对目标模型的描述进行编码，而所有内部参数均保持固定。当嵌入维度足够大时，我们给出了实现通用性的显式稀疏构造，并进一步证明通用性具有普遍性：随机初始化的 Transformer 几乎必然是通用的，这与 Zhong and Andreas（2024）的近期实证结果一致。我们在括号配平和多跳推理这两项算法任务上对理论进行了实证验证。我们的结果表明，Transformer 的大部分表达能力可能源于其输入表示，而非其学习得到的权重。