约束机器学习的随机惩罚-障碍方法

arXiv:2605.18618v3 公告类型：替换 摘要：约束机器学习（CML）支持公平性感知训练、物理信息神经网络，以及将符号领域知识融入统计模型。在本工作中，我们针对 CML 问题提出随机惩罚-障碍方法（SPBM）。SPBM 通过引入对偶变量的指数平均、稳定化的惩罚调度策略以及用于处理非光滑性的 Moreau 包络，扩展了经典的惩罚方法和障碍方法。我们分析了小批量处理在障碍函数中引入的偏差，并证明所得变换问题的可行集包含于原问题的可行集之内。我们在多个公平性和物理信息神经网络实验中，将 SPBM 与 CML 基线方法进行了比较。结果发现，SPBM 具有与当前最先进方法相当的性能。此外，在基于公平性的计算基准测试中，我们观察到，CML 方法的每轮运行时间基本不受约束数量影响；当约束数量从 $90$ 增加到 $9900$ 时，其每轮运行时间均在正则化 Adam 每轮运行时间的 $1.3\times$ 以内。