MAdam：度量感知的多目标 Adam

arXiv:2606.03904v2 公告类型：替换 摘要：多目标优化（MOO）是许多机器学习问题的基础，但损失平衡、梯度平衡和基于 Pareto 的各类 MOO 求解器几乎都将其协调后的方向交由 Adam~\citep{kingma2015adam} 处理。我们表明，这种耦合在求解器的意图与优化器的执行之间引入了两种系统性偏差。第一种是权重失配：Adam 的二阶矩分母将随时间变化的偏好向量与梯度统计量纠缠在一起，将偏好边缘化为历史平均值，并使不同的 Pareto 权衡坍缩为近乎均匀的混合。第二种是几何失配：Adam 的自适应度量扭曲了 MOO 求解器所假设的欧几里得几何，使方向一致的目标呈现出表观冲突。为同时解决这两种失配，我们提出 MAdam（度量感知的多目标 Adam），这是一种即插即用的封装，无需更改求解器或优化器。MAdam 利用标量化目标在给定偏好条件下的曲率，对协调后的方向进行预条件处理；对于这种白化后的输入，Adam 的二阶矩退化为单位矩阵，因此实际更新由偏好条件化的度量支配。在多任务学习、Pareto 前沿恢复、物理信息神经网络和医学成像任务中，对于每一类求解器，MAdam 的总体表现均优于 Adam。我们的代码已发布于 https://github.com/lfb-1/MAdam。