适应位置至关重要：用于能力保留的层选择性微调

参数高效微调（PEFT）使大型语言模型（LLMs）能够适应专门任务，但往往会付出预训练过程中获得的通用能力退化的代价。现有方法主要通过数据回放或正则化来缓解这一权衡，依赖额外数据或显式的优化约束。我们转而关注另一个问题：应当在哪里进行适应？我们发现，对不同的 Transformer 层进行微调会带来不同程度的目标任务收益和能力退化，这表明并非所有层都同样适合进行适应。为刻画这种差异，我们使用逐层经验 Fisher 信息来衡量对目标任务的敏感性。然而，计算 Fisher 分数需要反向计算，并且对于大型模型而言成本会越来越高。因此，我们引入输入--输出余弦相似度，作为一种轻量级、仅需前向计算的层敏感性排序代理指标。在不同模型和任务上，输入--输出相似度较低的层始终表现出更高的经验 Fisher 分数。基于这一观察，我们提出 Layer-Selective LoRA（LS-LoRA），仅在输入--输出相似度较低的层中放置可训练的 LoRA 适配器。在数学推理和代码生成任务上的实验表明，与标准的全层 LoRA 相比，LS-LoRA 在保留更多常识推理能力的同时，能够提升目标任务的平均性能，说明谨慎选择适应位置可以成为平衡目标任务适应与通用能力保留的一种简单而有效的方法。