二即足够：二分类先验足以支持多分类上下文学习表格预测

arXiv:2610.27569v1 公告类型：新 摘要：表格基础模型（TFM）在大规模合成先验上预训练 Transformer，从而通过一次前向传播实现零样本表格预测。TabICLv2 在预训练期间对其分类先验的类别数量进行采样，而当前主流配置将其上限设为十类。我们报告了一个反直觉的结果：将这一上限直接设为二，即使所有预训练分类任务都是二分类，所得权重仍然能够执行零样本 K 类分类 2。在 38 个 TabArena 分类数据集上（进行 200 轮 bootstrap，以默认 RF = 1000 为基准），二分类两阶段方案达到 1590.1 Elo，高于官方默认配置的 1568.0（+22.1），也高于 TabPFN-v2.6（1577.1）和 RealTabPFN-v2.5（1521.6）。在 60 家真实世界信用评分机构上进行的生产规模验证独立确认了这一趋势：在推理成本增加 +1.5 的情况下，同一检查点在其中 44 家机构上提升了测试 AUC（AUC 的配对 Wilcoxon 检验 p = 0.0007，KS 的 p = 0.0002）。从机制上看，TabICLv2 中的分类并非由固定类别数的输出头完成，而是通过一种上下文内比较算子，将查询行嵌入与类别条件嵌入进行匹配；因此，输出空间的基数由上下文中出现的标签决定，而不是由预训练期间见过的标签空间决定。这使得二分类先验在生成和缓存方面相比十分类先验具有结构性成本优势，将“类别数量”从架构约束降格为可调超参数，并指向一种与类别数量无关的 TFM 预训练范式。