LLM 何时有助于特征选择？一项系统性的实证研究

大语言模型（LLM）可以结合语义特征名称与汇总统计信息进行表格特征选择，但相较于成熟的统计方法，这类信息何时能够改善子集选择仍不明确。我们在一个包含 18 个数据集的框架内研究这一问题，其中 10 个数据集用于 Group Relative Policy Optimization（GRPO）训练，2 个用于检查点验证，6 个作为留出的评估数据集。我们比较了 5 种经典基线方法、冻结的 Qwen2.5-7B 和 Llama-3.3-70B 选择器，以及 2 个经过 GRPO 适配的 Qwen2.5-7B 模型；分别报告分类 ROC-AUC 和回归 R^2，并使用数据集级排名进行跨任务比较。在 5 个使用不同随机种子的评估划分中，经典选择器通常比经过测试的 7B LLM/RL 选择器取得更高的预测性能；即使在预先指定的约 33% 特征预算下，并严格仅使用训练数据拟合经典方法时，情况依然如此，而 7B 选择器仍能保留紧凑的特征子集。一项基于特征数量匹配的语义敏感性实验表明，对于零样本 Qwen-7B，相比匿名化和打乱后的替代方案，具有信息量的特征名称能够提升回归性能（平均 R^2 分别提高 +0.1964 和 +0.1606）；而在分类任务中，整体差异较小（ROC-AUC 分别提高 +0.0159 和 +0.0084），且取决于具体数据集。这些结果刻画了语义信息何时能够惠益于基于 LLM 的特征选择，并表明经典选择器在预测性表格特征选择中仍是有力的基线方法。