arXiv cs.AI精选76

只需投影一次:用于精确约束满足的投影自适应损失

Only Project Once: Projection-Adaptive Loss for Exact Constraint Satisfaction

· 10天前

精选理由

提出仅需一次投影的自适应损失,降低训练成本并提升复杂约束满足的可靠性。

AI 摘要

在许多领域,精确满足约束是部署学习模型的先决条件,这促使人们采用修复程序来修正神经网络的原始预测结果。现有方法在训练过程中展开多个修复步骤,并对展开后仍然存在的约束违反进行软惩罚。这些方法计算和内存开销高,在修复无法收敛时缺乏鲁棒性,并且将大部分约束满足工作交给了修复过程。我们的核心发现是,与普遍做法相反,训练时只需执行一次脱离梯度的投影步骤即可。为此,我们提出投影自适应损失(Projection-Adaptive Loss,PAL),利用这一步之后的约束残差,自适应地调整原始预测结果上的约束惩罚权重。在实验中,PAL 是唯一一种在高度非线性的约束下仍能保持几乎完美可行性的方法,并且在合成基准和工程基准上达到了或超过了现有方法的性能。由于只需执行一次脱离梯度的投影步骤,PAL 在其自身的 ACOPF 基准上训练速度比经典的基于修复的方法(DC3)快 2.5 倍。当约束评估成本高昂时(例如通过神经网络代理模型进行评估),PAL 也能够完成训练,而现有的展开方法在此场景下会因内存需求过高而无法实施。

查看原文(arXiv cs.AI)