QuaNAS：面向高查询效率神经架构搜索的不确定性感知式历史搜索复用

arXiv:2610.31251v1 公告类型：新论文 摘要：在新数据集上进行神经架构搜索（NAS）时，通常只能开展数十次短时训练，因此，搜索在首次评估前掌握的知识决定了其效率。然而，大多数 NAS 方法都从零开始，至多依赖在不同任务间可靠性不足的零成本代理指标来引导搜索。QuaNAS 将同一搜索空间中的历史搜索库视为可靠性存在不确定性的显式知识。从该库中学习到的设计决策主效应，以及作为次要信息的零成本代理指标，在不使用新数据集任何标签的情况下，形成候选架构的先验。高斯过程从先验最优点出发，并在每次评估后重新估计各项先验的可信程度。按照在接触任何验证性数据之前就已固定的实验方案，QuaNAS 在 12 个新的图像、时间序列、文本和表格数据集上各接受了一次评估。相较于五种预先指定、从零开始的 NAS 基线方法，它将短时训练目标上的任意时刻遗憾值降至原来的 1/2.7 至 1/3.9（各项经 Holm 校正的 p 值均为 0.0012）。在九个数据集上，其最终模型的表现与采用相同训练配置的参考模型相当（非劣效界值为 0.5 个百分点）或更优；未经任何一次评估便选出的先验最优架构也取得了同样的结果。与使用同一历史搜索库的成熟迁移方法进行的事后比较表明，性能增益源于该库：没有该库时，相同高斯过程的遗憾值超过原来的两倍。这些比较还揭示了各类迁移机制最适用的情形：QuaNAS 汇总得到的主效应最适合可迁移性较弱的表格任务，而逐任务代理模型最适合图像、时间序列和文本任务，以及历史搜索库规模较小或匹配度不足的情况。最后，主效应使迁移知识能够被审视和检验。