信任方向，搜索步长：用于 LLM 微调的零阶与一阶方法

arXiv:2610.02190v1 公布类型：新 摘要：步长选择仍是大规模神经网络优化中的核心挑战；保守的步长会减慢收敛，而过于激进的步长则可能导致优化不稳定。我们结合零阶与一阶优化（ZFO），提出一种轻量级框架，将方向选择与步长选择解耦。ZFO 使用可信的一阶优化器确定方向，仅沿这一一维子空间进行零阶评估，以选择移动的距离。利用当前的梯度信息和另外两次目标函数评估，ZFO 实例沿所提议的方向构建目标函数的局部模型，并在有界搜索区间内选择考虑曲率的步长。由此得到一种自适应步长选择机制，其成本低于完整的线搜索。我们给出理论保证，证明共享样本评估能够产生可靠的有限差分曲率估计，所构建的局部模型能够在搜索区间内选择近似最优的步长，并且 ZFO 能够收敛到平稳点的邻域。在所评估的各种设置、语言模型和数据集上，相较于固定步长的一阶基线方法，ZFO 通常能够改善优化过程和最终性能；而改进幅度及更优的局部模型则取决于目标函数。我们的代码已公开发布于：https://github.com/nizswan/Zeroth-First-Order-Framework。