状态依赖重尾噪声下的鲁棒 Langevin 采样及其在 LLM 微调中的应用
Robust Langevin Sampling under State-Dependent Heavy-Tailed Noise with Applications to LLM Fine-Tuning
精选理由
提出能应对重尾噪声与广义光滑性的朗之万采样方法，为大模型贝叶斯微调提供可靠的收敛保障。
AI 摘要
arXiv:2610.12865v1 公告类型：新提交 摘要：现有针对随机梯度 Langevin 蒙特卡洛（SG-LMC）非对数凹采样的收敛性保证通常假设梯度全局 Lipschitz 连续且噪声方差一致有界。即使在基本的采样问题中，这两个假设也可能不成立，放宽它们能更好地反映大型语言模型（LLM）的贝叶斯微调等实际应用。我们通过广义光滑性以及所提出的具有有限 $p$ 阶矩（$1<p\leq 2$）的状态依赖重尾预言机，放宽了这两个假设。该预言机允许在 $p<2$ 时方差无穷大，并涵盖 Blum-Gladyshev（BG-0）条件。我们分别及联合研究这两种放宽情形，并提出三种方法。在梯度全局 Lipschitz 连续的条件下，鲁棒 LMC（R-LMC）通过几何中位数中心化与残差裁剪来处理所提出的预言机。在使用精确梯度时，自适应 LMC（A-LMC）在广义光滑性条件下控制离散化误差。鲁棒自适应 LMC（RA-LMC）通过鲁棒估计和噪声感知步长，同时应对这两种放宽情形。对于这三种方法，我们均在不假设耗散性或函数不等式的情况下，建立了以 Fisher 信息（FI）衡量的非渐近收敛性保证。合成实验展示了 FI 收敛性以及各项机制的益处。针对 LLM 和视觉语言模型的贝叶斯微调实验支持了我们的预言机模型，并表明 RA-LMC 在准确率和不确定性量化方面达到或超越了当前最先进的基线方法。