基于粒子的广义随机优化

arXiv:2608.02844v2 公告类型：replace-cross 摘要：我们针对梯度难以计算的损失函数，提出了一类基于扩散的通用随机粒子优化方法。具体而言，我们考虑损失梯度可表示为关于参数依赖分布的积分的问题，这类结构涵盖生成模型训练、微调以及潜变量模型学习。我们引入平均场动力学及其相互作用粒子近似，其中包含若干现有算法作为特例，并为构建新方法提供了途径。在适定性和联合收缩性假设下，我们证明了指数收敛性，并表明连续时间粒子系统具有非渐近误差界。我们通过开发高阶 Langevin 优化器和动量优化器，并在最大边际似然估计和基于能量的模型训练任务上对其进行评估，展示了这一框架的应用。