重新审视表格数据深度回归：目标函数与全局早停的局限

尽管面向表格数据的深度学习模型近年来受到研究界的广泛关注，回归任务中目标函数的选择仍是一个研究不足的自由度。多个研究方向提出了标准均方误差（MSE）的替代方案，但数据集、骨干网络和评估流程的差异使这些方案的实际收益难以比较。在本研究中，我们在大量成熟的表格数据集和多种神经网络骨干上，对回归目标函数进行系统性重新评估，以弥补这一空白。比较结果表明，相较于经过恰当调优的 MSE 基线，许多已提出的目标函数带来的提升有限或不稳定，而在所有测试的骨干网络上，分位数损失相较于 MSE 均带来了稳定的总体提升。随后，我们指出，即使采用这一强效目标函数，仍存在一个局限：目标噪声水平不同的区域可能在不同的训练轮次达到最佳预测性能。因此，单一的全局早停检查点可能迫使模型在不同不确定性区域之间作出折中，即使目标函数能够表示异方差目标分布也不例外。针对这一局限，我们提出了一种考虑异方差性的分位数损失扩展方法，利用依赖于输入的标签平滑作为潜在的补救措施，并在多种骨干网络上取得了优于分位数损失的表现。总体而言，我们的结果为表格数据深度学习中的回归目标函数提供了最新的实证概况，并强调了不同不确定性区域之间最优停止时机的差异如何限制全局早停的有效性。代码可在 https://github.com/yandex-research/tabular-regression 获取。