LESS：数分钟内的轻量级进化超网络搜索

arXiv:2610.01468v1 公告类型：cross 摘要：低成本神经架构搜索（NAS）既要探索高性能架构，也要可靠地识别这些架构；然而，降低评估成本往往会削弱候选架构比较的保真度。免训练方法通过使用在初始化时测量的代理信号替代学习得到的任务反馈，从而降低评估成本。我们提出 LESS（Lightweight Evolutionary Supernet Search），这是一种数据驱动方法，将短暂且公平的硬路径预热与单一 CMA-ES 分布下的离散搜索相结合。每个候选方案在经过六次候选条件化的超网络更新后，都会以其解码得到的硬基因型进行评估。在 NAS-Bench-201 上，LESS 在 409.1 秒内取得了 \(93.189\pm0.467\%\) 的 CIFAR-10 测试准确率，与 FairNAS 的差距在 0.04 个百分点以内，而搜索时间约为其来源报告时间的 \(1/24\)。对照实验表明，校准使所选架构的验证准确率提高了 0.577 个百分点，而最佳访问准确率仅变化 0.054 个百分点，这说明其主要作用是降低选择遗憾。冻结后的配置无需调参即可迁移到 CIFAR-100 和 ImageNet16-120，分别取得 \(69.615\pm1.139\%\) 和 \(43.720\pm1.697\%\) 的准确率。在更大的 DARTS 搜索空间中，LESS 同样无需调参即可在 CIFAR-10 和 CIFAR-100 上分别达到 \(96.95\pm0.14\%\) 和 \(82.43\pm0.80\%\)，每次搜索在单个 GPU 上约 43.5 分钟内完成。总体而言，这些结果表明，短暂、均衡且依赖数据的更新能够在数分钟内实现跨数据集和搜索空间、具有竞争力的神经架构搜索。