柏拉图式任务算术

arXiv:2610.00929v1 发布类型：新 摘要：专门针对同一任务的模型会收敛到相似的行为，但产生这种行为的参数更新并不共享任何通用的坐标系。因此，权重空间中的任务算术始终局限于单个模型之内；如果没有结构对应关系，也无法跨越不同架构。受 Plato 的洞穴寓言启发，我们假设，这些特定于模型的更新是某个共享的、与模型无关的对象投射出的影子，并将其称为柏拉图式任务向量。为了使这一概念适用于将图像或音频编码器与文本编码器配对的模型，我们引入了 Universal Task Descriptors：其矩阵形状与架构和嵌入维度无关，用于记录任务的功能性影响，并支持作为矩阵运算进行加法和取负。将一个描述符迁移到目标模型，意味着对目标模型进行编辑，使其在该任务的无标签探测图像和类别名称提示上复现该描述符，而无需逐图像标签。我们通过两种方式实现这种编辑。第一，描述符可分解为作用于图像嵌入的偏移场，因此一次最小二乘求解即可得到一个线性算子，并将其作为权重编辑折叠进目标模型的最后一层；根据线性性，由此得到的一组算子可以通过带符号求和，以任意强度进行任意组合。第二，在相同目标上训练的低秩适配器可以作用于每一层，并联合拟合多种组合，但每次编辑都需要进行一次优化。异构模型仅能部分共享这一对象，其中与模型相关的残差在范数上与共享成分相当；然而，跨模型迁移仍能保留目标模型使用自身描述符时所得增益的 74%—80%。在六类模型、八项分类任务以及一个音频—文本场景上的实验表明，通过这两种实现方式，任务知识都可以在异构模型之间迁移并进行组合。