使用性能表征进行 HPO 和 CASH 的简单元学习

arXiv:2611.07659v1 公告类型：新论文 摘要：用于超参数优化（HPO）以及算法选择与超参数联合优化（CASH）的贝叶斯优化，通常依赖显式的超参数编码作为代理模型的输入。然而，在高维搜索空间中，这类表征可能使标准代理模型难以学到有效的性能模型。我们转而研究一种替代性的元学习表征，直接以每个配置在以往任务中的历史性能来描述该配置。这种表征可以直接与标准代理模型结合使用。我们的研究范围是 AutoML 中的迭代选择环节，即从固定的候选集中决定下一个要评估的配置，而非涵盖运行时间估计、成本感知预算分配和集成等功能的完整框架。我们进一步将这种表征应用于最大边际相关性（MMR）——一种源自推荐系统、基于多样性的重排序准则——将其用作无需后验分布的采集规则。在 TabArena 基准上进行多模型选择与优化时，基于性能的表征与线性贝叶斯岭回归模型相结合，优于专门的元学习基线方法，仅需约一半的试验次数即可达到相同的调优后性能。对于单模型 HPO，该方法仍位居第二，具有竞争力。在这两类基准测试中，该方法以低得多的复杂度和成本，实现了相近或更低的遗憾值，既无需预训练或调优，其扩展性也不受搜索空间维度的影响。用于复现我们结果的代码可在 https://github.com/EWitting/simple-metalearning 获取。