重新审视表格数据深度回归：目标函数与全局早停的局限

arXiv:2610.13909v1 公告类型：新发布 摘要：尽管面向表格数据的深度学习模型近来受到了研究界的广泛关注，但回归任务中目标函数的选择仍是一个研究不足的自由度。多个研究方向提出了标准均方误差（MSE）的替代方案，但数据集、骨干网络和评估协议的差异，使得这些方案的实际收益难以比较。在本研究中，我们通过在大量成熟的表格数据集和多种神经网络骨干上，对回归目标函数进行系统性的重新评估，弥补了这一空白。比较结果表明，相较于经过充分调优的 MSE 基线，许多已提出的目标函数带来的提升有限或不稳定，而分位数损失在各个受测骨干网络上，相较于 MSE 均取得了稳定的总体提升。随后，我们发现，即使采用这一表现优异的目标函数，仍存在一个局限：目标噪声水平不同的区域，可能在不同的训练轮次达到最佳预测性能。因此，即使目标函数能够表示异方差目标分布，单一的全局早停检查点仍可能迫使模型在不同不确定性区域之间作出折中。针对这一局限，我们提出了一种感知异方差性的分位数损失扩展方法，使用依赖于输入的标签平滑作为潜在的解决方案，并在多种骨干网络上取得了优于分位数损失的表现。总体而言，我们的结果为表格数据深度学习中的回归目标函数提供了新的实证图景，并揭示了不同不确定性区域之间最优停止时机的差异如何限制全局早停的有效性。代码可在 https://github.com/yandex-research/tabular-regression 获取。