LoRA 微调的嵌入空间指纹识别：仅凭模型产物恢复训练数据领域

arXiv:2611.07610v1 公告类型：交叉收录 摘要：当基础语言模型通过低秩适应（LoRA）进行微调时，训练数据所属领域的多少信息会泄露到所得的模型产物中？本文研究一个简单的分类器能否仅凭模型产物（权重增量、固定探测集上的内部激活或生成文本），在完全不接触训练数据的情况下，恢复微调模型的训练数据领域。我们使用一个基础模型（Qwen3.5-0.8B），在涵盖五个领域（医学、代码、数学、非英语文本、叙事散文）的 18 个公开数据集上训练出 36 个 LoRA 微调模型，并按访问权限由高到低提取三类特征：白盒权重、灰盒激活和黑盒输出。我们采用在看到任何结果之前就已固定的留一数据集法（LODO）评估协议，检验能否识别使用此前未见数据集训练的微调模型所属的领域。通过灰盒激活和黑盒输出恢复领域的准确率分别为 61% 和 64%，均显著高于随机猜测水平（20%）；白盒权重统计特征的准确率则达到 42%。与预注册假设中信号从权重到激活再到输出单调衰减的预期相反，激活和输出比权重增量统计特征包含更多可用于识别领域的信息。当仅使用生成文本、不使用词元概率时，黑盒结果保持不变（64%）。在每个数据集上使用独立抽取的数据子样本进行第三次训练时，领域识别准确率也保持稳定，且黑盒预测不受 LoRA 秩（8–64）的影响。所有代码及每次训练对应的特征向量均已公开。