用于 LLM 行为控制的 Training-Free Task Vectors

任务向量通过识别权重空间中具有语义意义的方向，实现训练后模型编辑；通常的计算方式是取微调模型与其预训练初始化之间的差值。然而，这种对微调的依赖使得此类方向的发现成本高昂，也限制了训练后模型编辑的实用性。为解决这一局限，我们提出 Training-Free Task Vectors（TFTVs），一种无需微调即可计算类似任务向量方向的新方法。我们的方法仅利用前向传播统计量，将激活引导向量映射为秩一权重空间编辑，同时满足一系列算术性质，从而直接支持通过加法实现学习、通过减法实现遗忘，以及组合多项编辑。通过实证评估，我们在大语言模型行为控制任务上测试了 TFTVs，结果表明，它能够在保留通用知识和问题解决能力的同时，持续增强、抑制并组合目标行为。我们还将该方法与其他编辑和引导基线进行了比较，实验表明，TFTVs 能够实现更强的特征控制，并在实用性保持方面表现更佳或具有竞争力。我们希望这项工作能为训练后模型编辑以及更广泛的免训练模型控制开辟新的研究方向。代码已发布于项目网站：tftv-llm.github.io。