LimiX-2：迈向通用结构化数据智能的上下文机制网络

我们介绍了 LimiX-2，这是 LimiX 系列的新模型，依据我们此前建立的扩展定律，通过模型扩展与数据扩展开发而成。LimiX-2 采用 Contextual Mechanism Networks（CMNs）范式，并通过 Context-Conditional Masked Modeling（CCMM）进行预训练。CMNs 将上下文学习的组织原则从以目标为中心的预测转变为面向机制的联合建模。不同于传统表格型 PFNs 以 $p(y \mid x, D_{\mathrm{context}})$ 为目标来构建网络，LimiX-2 围绕学习 $p(x, y \mid D_{\mathrm{context}})$ 进行设计，即学习一种依赖上下文的表示，用于刻画数据生成背后的联合结构。预训练采用由结构因果模型（SCMs）生成的合成数据集，这些数据集涵盖多样的图结构、函数机制和观测过程。在 TabArena、TALENT 和 BCCO 上的评测表明，LimiX-2 的表现优于当前针对特定数据集的模型和表格基础模型。除预测性能外，CMN 范式还提升了 LimiX-2 的因果感知能力：其特征注意力编码了直接因果关系，从而能够准确恢复因果骨架。