可引导的覆盖率:面向 RL 驱动、硬件感知 NAS 的在线保序校准
Coverage You Can Steer: Online Conformal Calibration for RL-Driven Hardware-Aware NAS
精选理由
在线共形校准让硬件感知NAS可控保证覆盖率,减少25–50%评估成本
AI 摘要
arXiv:2610.03127v1 公告类型:新 摘要:硬件感知神经架构搜索(NAS)的主要瓶颈在于评估成本:每个架构都必须经过训练后才能获知其奖励。保序预测筛选器通过剪除预测奖励上界未达到阈值的候选架构来降低这一成本,并提供一种与分布无关的保证:被错误丢弃的候选架构比例至多为 $\delta$。但这一保证假设校准候选架构与测试候选架构之间具有可交换性,而外围的强化学习(RL)循环违反了这一假设:随着搜索推进,策略提出的候选架构不断改进;在逐层构建过程中,候选分布还会在每个回合内发生偏移。我们以在线反馈控制取代一次性分位数估计(即 Adaptive Conformal Inference,并采用无需调参、局部自适应和组条件化变体),从而恢复可引导的覆盖率:对于任意序列,调节目标值即可单调且可复现地获得相应覆盖率。在三个神经网络架构系列以及单步和序列式搜索设置下(使用三个随机种子),该方法能够将每个请求的覆盖率水平跟踪到约 ${\sim}10^{-3}$ 以内,同时在测得精度无损的情况下剪除 25%–50% 的评估;相比之下,静态校准会失去对覆盖率的控制,而高斯过程基线无论请求值如何都保持保守。最后,在一个受约束的测试平台上将同一乐观上界用作采集函数时,其性能优于随机搜索;这一收益固定乐观策略本身已经具备,而在线校准进一步提升了该收益。源代码可在 https://github.com/Vicomtech/rl-hw-nas 获取。