将关系复合作为平行输运：逐实体坐标系在注意力中强制出的性质

只有当两个向量共享同一坐标系时，点积才有意义。内容词拥有坐标系；而一个新实体没有：单独旋转其坐标不会改变任何东西。我们将这种逐实体坐标系自由视为一种对称性，并考察它在注意力机制中强制出的性质。对于正交输运，不变分数只依赖于范数和输运后的内积 $\langle x_i,T_{ij}x_j\rangle$；等变消息则位于 $x_i$ 与 $T_{ij}x_j$ 的张成空间中。端点通道数限制输运的秩，因此每个实体只有一个向量时，必须额外提供关系；标准注意力是共享坐标系的平坦扇区。表示论为每种机制赋予一个整数；具体取哪个整数由读出决定。对于正交过渡，凸胞读出只有在达到或超过其最小忠实实表示维数时，才能精确复合有限群。在这一最小维数处，精确性要求一个忠实表示。偶读出可以在更小宽度下解码一个覆盖，而这一差距可以是无界的。在低于其阈值时，机制无法感知的那部分群决定了一个可在训练前计算的准确率上限。在最小宽度下，17/17 个拟合种子通过了长度 1000 以内的测试；而在两倍宽度下，这一比例为 7/18；12 个模型仅凭权重本身，就能将正确性证书推进到明确长度。对于 $C_3\times A_4$（忠实宽度为 5），在宽度 4 下进行的降维学习，在对符号不敏感的注意力中学到了具有 72 个状态的双覆盖（48 个种子中有 6 个成功；单调的为 0/48）；在冻结的覆盖上，交叉熵最优的仿射头输出均匀分布，而二次头可以实现精确解码。在解析后的 CLUTRR 上，输运复合比匹配的 transformer 在 4–10 跳时高出 41 个百分点，但强制使用等距变换会损失 65 个百分点；在 StepGame 的交换代数上，等距变换则有所帮助。静态嵌入为每个词提供一个向量；上下文模型为每次出现提供各自的向量；逐实体坐标系使每个关系成为一个算子，而这正是关系进行复合的单位。