微调的行为码率：以压缩衡量有用信息

arXiv:2611.06598v1 公告类型：新提交 摘要：低秩适应（LoRA）通过紧凑的学习更新来适配冻结的语言模型，因此非常适合用于探究微调需要写入多少信息。然而，适配器的秩、参数量或数值重构误差，并不能直接告诉我们需要多少比特才能保留习得的行为。因此，我们定义了一个可操作的行为码率 $R^\star$：压缩后的适配器重新加载到冻结的基础模型后，若能保留其在留出数据上的微调收益的固定比例，则满足这一条件的最小序列化大小即为该码率。在各项 LoRA 微调实验中，当优化预算固定时，这一码率随互不相同的训练内容增多而上升，但并不由源描述长度、微调收益或权重空间重构误差等直观指标决定。最重要的是，同一批数据集在不同冻结基础模型上呈现出的码率存在显著差异，甚至排序也会改变，这表明微调的可压缩性是数据集与接收模型这一组合的属性，而非仅由数据集决定。不过，我们发现，在数据上测得的修正谱能够对同一接收模型下的这些码率进行排序。最后，我们研究了压缩带来的一种显著降噪效应：在刻意损坏的数据集上训练的适配器，其性能远低于冻结模型，但压缩后的得分却高于冻结模型（在 GSM8K 上从 23.7% 升至 82.9%，而冻结的 Qwen2.5-7B 为 77.6%），这一现象在所测试的不同模型系列和规模中均一致出现。损害不均匀地集中在适配器的主导奇异方向上，而压缩似乎能将其滤除。在训练任务之外，经过压缩的受损适配器也比使用干净数据微调的适配器具有更好的泛化能力：在更难的数学任务上，前者保留了基础模型准确率的 97%，而后者仅保留了 44%。