INCONVENIENT：评估LLM从便利样本中获得的泛化能力的基准

arXiv:2610.21038v1 公告类型：new 摘要：用于表格预测的机器学习模型通常假设训练数据能够代表其部署所面向的总体。然而在实践中，数据往往基于便利性、可获得性或成本进行收集，从而产生系统性的抽样偏差，扭曲特征—目标关系，并削弱模型在现实世界中的泛化能力。现有的表格分布偏移基准主要通过在自然形成的领域之间划分观测数据来构建分布外（OOD）场景。尽管这类划分可能导致P(Y | X)发生变化，但由此产生的偏移既未得到明确控制，也未被单独隔离；此外，评估分布本身通常也不能代表更广泛的目标总体。我们提出INCONVENIENT，这是一个旨在研究模型对便利样本偏差鲁棒性的基准。INCONVENIENT不依赖自然形成的领域划分，而是直接扰动训练分布中的特征—目标关系，同时保留原始总体分布作为部署环境。这种设置更贴近现实场景：模型基于不具代表性的样本开发，随后部署到更广泛的总体中。这一区分对于大型语言模型（LLMs）尤为重要，因为其预训练过程可能编码了超出偏差训练数据中所观察到关系的人口层面知识。不同于现有的分布偏移基准，INCONVENIENT能够明确控制关系偏移的方向和严重程度，从而系统评估模型对便利抽样的鲁棒性。该基准包含涵盖多个应用领域的200个表格分类和回归数据集，并生成约15,500个发生偏移的训练分布，这些分布会导致下游性能显著下降。