具有全局最优性与近似保证的脉冲神经网络凸优化
Convex Optimization of Spiking Neural Networks with Global and Approximation Guarantees
精选理由
为脉冲神经网络训练提供凸优化框架与全局最优保证，并以随机近似降低计算成本。
AI 摘要
arXiv:2605.08022v3 公告类型：replace-cross 摘要：脉冲神经网络（SNN）被提出作为深度神经网络的节能替代方案。其训练是非凸的，并且涉及不可微的脉冲函数，因此现有方法无法保证达到全局最优。我们通过将 SNN 优化表述为等价的凸优化问题来解决这一问题。具体而言，我们证明，对于一类阈值 RNN（包括漏积分发放 SNN），其带权重衰减正则化的训练问题具有零对偶间隙，且最优值与一个凸规划相同。由于所得凸规划的变量数量可能随数据量呈指数级增长，我们引入了一种实用的随机化替代方案，并对其近似质量给出了高概率保证。实验表明，表现最佳的凸优化变体在加法和 first-last-XOR 任务上优于替代梯度训练，在序列 MNIST 任务上与其表现相当，但在三进制和五进制加法任务上落后于储备池基线。