DART-ES：面向使用进化策略微调 LLM 的难度感知重加权与定向重放

arXiv:2610.06993v1 公告类型：新 摘要：Evolution Strategies（ES）仅使用前向计算，即可实现对大型语言模型（LLM）进行内存高效的全参数微调。然而，标准 ES 对不同问题的奖励进行均匀平均，并将问题层面的群体反馈压缩为单一标量，因此难以捕捉每个问题的学习价值如何随模型能力变化。为解决这一局限，我们提出了面向 Evolution Strategies 的难度感知重加权与定向重放方法（DART-ES）。DART-ES 根据每个问题在扰动群体中的通过率估计其局部可解性，并聚合历史观测结果以构建动态难度状态。该共享状态同时指导持续的难度重加权和稀有可解样本重放，从而在不引入额外难度模型或反向传播的情况下，改进扰动方向评估和训练数据分配。大量实验表明，DART-ES 实现了良好的微调性能。在全部五个基础模型上，DART-ES 均优于 ES，并将平均准确率从 72.07% 提升至 73.53%，超过了 GRPO 在 GSM8K 上取得的 73.26%。在五个具有挑战性的数学推理基准上，DART-ES 的平均准确率达到 49.20%，而 ES 为 48.34%；与使用 RL 训练的强大 7B 模型相比，DART-ES 仍具有竞争力。进一步实验表明，在使用 14B 模型进行指令微调、代码生成和 Countdown 任务时，DART-ES 均能持续取得提升，展现出跨任务的强泛化能力以及向更大模型扩展的可行性。除性能提升外，DART-ES 在系统效率方面也表现出明显优势。与 GRPO 相比，其每步运行时间减少了 15.2%--50.2%，每块 GPU 的峰值内存使用量降低了 21.1%--51.1%。尽管执行的是全参数微调，DART-ES 所需的运行时间和 GPU 内存仍少于 GRPO+LoRA。