样本自适应零阶后训练

arXiv:2610.12566v1 公告类型：新发布 摘要：零阶（ZO）优化为大型语言模型微调提供了一种内存高效的反向传播替代方案。然而，现有 ZO 方法通常均匀采样训练样本，忽略了样本重要性的动态变化，并产生了本可避免的估计方差。为解决这一局限，我们提出 Sample-Adaptive Zeroth-Order Optimization（SAZO），该方法在线学习样本重要性，并自适应分配查询以加速收敛。SAZO 从已有的方向差分中提取梯度范数信息，无需获取真实梯度即可估计样本重要性。此外，为利用稀疏的小批量反馈跟踪不断变化的重要性，SAZO 为每个样本维护指数移动平均值，汇总多次更新中的观测结果。与 MeZO 相比，该方法无需额外的模型求值，且仅需 $O(N)$ 的额外标量状态。我们证明，SAZO 在渐近意义上可达到最小方差采样预言机的收敛主导项，并实现比标准方法严格更快的收敛速率。在四个模型系列上开展的大量实验表明，SAZO 提升了平均下游任务性能，并且以查询次数衡量，收敛至相同训练损失的速度最高可提升至 $6\times$。