空间归纳头：多维元胞自动机中的上下文学习

arXiv:2610.09124v1 公告类型：新 摘要：归纳头为序列数据中的上下文学习提供了一种机制解释，但现有理论在很大程度上假设与预测相关的上下文构成一个连续区块。在多维数据中，序列化打破了这一假设，因为空间邻居会被分散到令牌序列中相距很远的位置。我们研究了 Transformer 如何在多维随机和确定性元胞自动机中克服这一路由问题：每条轨迹均由未知的局部规则生成，并以展平序列的形式呈现，且没有显式的基于坐标的空间归纳偏置。我们引入了空间归纳头，这是一种两层的聚集与匹配电路，其中第一层重建相关的空间邻域，第二层将所得配置与更早出现过的配置进行匹配。我们给出了两种聚集的具体实现，并表明，空间路由所需的位置维度只取决于局部邻域和空间维度，而与网格体积或轨迹时域无关。我们进一步构造了一个实现贝叶斯计数的匹配层。对于随机规则，该端到端电路可以任意逼近贝叶斯后验；对于确定性规则，则可以实现精确预测。在实证实验中，经过训练的两层 Transformer 能够在一维和二维设置下泛化到未见过的规则：对确定性规则实现近乎完美的滚动预测；对随机规则，其与贝叶斯最优预测器之间的 KL 散度小于 0.005 nats。注意力模式和逐层探针结果均与预测的聚集—匹配计算相一致，为训练后的 Transformer 中存在空间归纳提供了机制层面的证据。