MatrixFormer：一种用于矩阵补全的基础模型

矩阵补全是从表格数据插补到因果推断等诸多问题的基础，但现有的表格基础模型将其视为逐条目预测，为每个目标重复输入上下文，并丢弃矩阵的二维结构。我们提出 MatrixFormer，这是一种预训练的矩阵原生 Transformer，只需一次前向传播即可为每个缺失条目预测完整的分布。MatrixFormer 完全基于不同缺失模式下的合成低秩矩阵和潜因子矩阵进行训练。在零样本设置下，使用相同的模型权重，MatrixFormer 在因果推断面板数据任务、语言模型基准分数补全、表格数据插补和推荐系统矩阵补全方面均取得了具有竞争力的性能。这些结果表明，MatrixFormer 可作为一种通用的矩阵补全基础模型。