TaRA：训练感知低秩适配初始化

低秩适配（LoRA）已成为参数高效微调（PEFT）的事实标准，但由于低秩分解带来的信息瓶颈，其性能对初始化高度敏感。现有方法试图利用预训练权重、激活值或梯度的主成分来构建高质量的 LoRA 初始化。然而，这些方法并未直接考虑全秩模型的训练动态。本文提出训练感知低秩适配初始化（TaRA），该方法对 LoRA 进行初始化，使低秩因子所诱导的梯度能够紧密近似相应全秩权重矩阵的梯度。TaRA 由数学形式化推导而来，能够在训练初期提升梯度保真度，同时带来可忽略的计算开销。在多种具有挑战性的微调任务上，TaRA 始终优于此前最先进的方法，提供了一种简单、鲁棒且可扩展的有效 LoRA 初始化方案。