TabReliBench：超越预测准确性的表格基础模型评估
TabReliBench: Evaluating Tabular Foundation Models Beyond Predictive Accuracy
精选理由
提供多维基准评估表格基础模型的预测可靠性，揭示准确率排名无法反映校准与区间质量，助力模型选择。
AI 摘要
arXiv:2610.13654v1 公告类型：新论文 摘要：表格基础模型（TFMs）因其强大的预测性能而日益受到欢迎。许多此类模型还提供后验预测分布（PPDs），但这些分布的可靠性仍缺乏充分研究。我们从点预测、分布质量、边际与子群校准以及区间效率等方面评估可靠性。随后，我们推出 TabReliBench，这是一个用于上述比较和数据集层面分析的大规模分类与回归基准。我们发现，TFMs 在 TabArena 和本基准上的排名有所不同，在不同可靠性指标上的排名也会发生变化。回归 TFMs 通常能够达到接近名义水平的边际覆盖率，同时保持较窄的区间，但这种良好的边际表现并不意味着条件覆盖率也能得到保证。数据集层面的分析表明，分类难度较高往往伴随着较差的校准，而回归预测性能并不是衡量校准情况的可靠指标。集成方法能够提高预测性能，但并不总能改善 PPDs 的校准；TFMs 从保形后处理中获得的收益也很有限，这种处理无法可靠地消除子群间的差距。因此，要可靠地选择 TFM，就需要超越综合排名，开展多维度评估。代码可在 https://github.com/Tianqi-Zhao/TabReliBench 获取。