跨模型表示复用校准增益

arXiv:2610.22771v1 发布类型：new 摘要：尺度校准为一种模型表示学习更新。我们研究该更新有多少可以被同一预训练模型的另一种表示复用。我们的迁移过程提取正的分组增益，并将其安装到接收方的权重或原生量化尺度中，无需在接收方一侧进行优化。对于量化接收方，该过程保留整数编码、零点和存储布局。对于 Qwen3-1.7B 浮点/GPTQ INT3 配对模型，在未参与项目开发的全新 WikiText 和 C4 数据子集上，双向迁移保留了接收方专属校准所带来文本损失改善的 76.9%–90.5%。在每个投影内打乱相同的增益值会使两个接收方的表现都变差，表明学习到的分组分配在迁移后仍然重要。作为对照，Llama-3.2-3B 在四个经过校准的投影处保持初始原生张量完全一致，并在其他位置改变了九个投影。跨安装迁移保留了 98.6%–99.3% 的文本校准收益，同时对每个接收方自身的增益存在幅度较小但已得到确认的偏好。这些结果量化了可复用校准更新所携带的适应能力，以及接收方专属训练仍能带来的额外收益。