训练无需集合传播即可验证的混合单调神经网络
Training Mixed-Monotone Neural Networks for Verification Without Set Propagation
精选理由
提出混合单调网络，仅需两次前向计算即可快速获得紧致输出界，并能训练优化验证精度与效率。
AI 摘要
arXiv:2610.30853v1 公告类型：新论文 摘要：大多数神经网络形式化验证方法都会对神经网络的输出集合进行保守包络。然而，计算紧致的输出包络通常在计算上十分困难。我们提出一种新颖的神经网络架构，将混合单调函数表示为单调子网络之差，从而绕开这一难题。利用混合单调系统理论，该架构将紧致输出包络的计算从复杂的集合传播简化为对输入区间两个相对顶点进行两次简单的前向传播。此外，由于所得包络的大小是神经网络权重的闭式函数，我们可以在训练过程中直接将其最小化。我们证明了此类包络大小的一个下界，该下界由所表示函数推广至多输入情形的全变差给出，从而可以将包络的紧致程度与最优值进行比较。在回归和动力系统基准上的评估表明，我们的训练方法在不牺牲预测精度的前提下，将包络大小与下界的差距缩小至0.5%以内。我们方法的包络计算速度比 CROWN 和 $\alpha$-CROWN 快数个数量级；在深层网络上，其包络也比带状多面体传播和 CROWN 更紧致，而大小仅比 $\alpha$-CROWN 的包络高出5.1%。