输入凸神经网络的对偶认证白盒推断
Dual Certified White-Box Inference for Input Convex Neural Networks
精选理由
以对偶证书精确恢复次梯度,提升凸神经网络推理的可靠性与效率
AI 摘要
arXiv:2605.04722v2 公告类型:替换 摘要:输入凸神经网络(ICNN)用于学习凸目标函数,其极小点定义了决策,因此高效且可靠的优化对于推断至关重要。在非光滑输入处,自动微分返回的是单个导数,而不是支配最优性和下降性质的完整次微分。二阶锥输入凸神经网络(SOC-ICNN)可以精确表示为参数化二阶锥规划的值函数,从而提供一种白盒方法:利用最优对偶乘子恢复其完整次微分,并在光滑区域推导显式 Hessian。基于这一表示,我们提出对偶认证推断(DCI),结合网络与可行集的几何结构,获得精确的驻点证书和切向公共下降方向。DCI 利用局部曲率实现牛顿加速,并采用精确的近端保护机制。我们证明了其全局收敛性,并在标准正则性条件下证明了其在结构非退化的内部极小点附近具有局部二次收敛性。数值实验验证了所恢复几何结构的准确性,并展示了 DCI 的可靠性与效率。代码可在 https://anonymous.4open.science/r/DCI-ICNN-507D/ 获取。