任务向量可线性分解为可解释且可控的分量

arXiv:2610.41743v1 公告类型：新投稿 摘要：任务向量（TVs）为引导大语言模型提供了一种紧凑的方式，但它们通常仅被视为从隐藏状态中提取的不可分割方向，其内部功能结构仍缺乏充分理解。受先前将上下文学习分解为任务识别（TR）和任务学习（TL）的研究启发，我们探讨单个任务向量是否也能分解为具有明确功能意义的分量。我们基于候选标签的反嵌入向量，提出一种基于 TR/TL 的分解方法，将每个任务向量分为 TR、TL 和残差分量，并尝试使用贝叶斯优化来优化 TR 和 TL 的系数，以实现更有效的干预。我们在多个模型系列、分类任务以及基于指令和基于示例的任务向量上评估了这一方法。在这些设置下，基于 TR/TL 的优化均能找到优于原始任务向量的干预方向。尽管对随机方向进行优化也能提升性能，但基于 TR/TL 的搜索带来的增益更为可靠，尤其是对于基于指令的任务向量。此外，对分解后的分量分别施加干预，会在 logit 层面产生不同的影响，且这些影响与各分量预期的功能角色一致。综合而言，这些结果表明，任务向量并非不可分割的引导方向，而是可以分解为具有明确功能意义的分量，从而同时支持解释与控制。