语言模型状态跟踪的细粒度层级体系与基准

transformer 在状态跟踪——即在长上下文中跟踪实体或变量相关信息的能力——方面的理论局限，推动了 Gated DeltaNet（GDN）等新型循环语言建模（LM）架构的发展。这些架构尤其常以 $S_5$ 字问题作为评测基准；这是一项理论上困难的状态跟踪任务，涵盖了在任意变量赋值下进行代码求值等能力。然而，其他更简单的状态跟踪形式是否既更具实际意义，又已足以解释这些架构之间已观察到的差异，仍是一个悬而未决的问题。我们提出使用一个包含四个难度递增层级的字问题体系来评估状态跟踪：r-平凡，对应于编程中对变量的不可变赋值；非周期，其中赋值可变；可解，其中赋值具有自引用性；以及一般有限状态跟踪。在理论上，我们表明，被认为是 transformer 能够实现长度泛化的问题类别，甚至无法涵盖所有非周期状态跟踪问题。另一方面，我们证明，具有正特征值的 GDN 能够表达所有非周期问题，而某些 transformer 所识别的正则语言恰好是全部可解正则语言，从而细粒度地刻画了不同架构的状态跟踪能力。将这些思路付诸实践，我们构建了 StateBench，一个包含四个层级的长时程状态跟踪基准。我们针对不同架构开展的系统性直接训练实验总体上符合理论预期，不过在超大尺度的长度泛化中也出现了一些有趣的现象。此外，我们还在 StateBench 上评估了预训练模型，包括开放的混合架构模型和闭源前沿模型，发现它们均无法稳健地解决哪怕是可解层级的状态跟踪问题，这为未来的改进指明了一个方向。