两个向量替代上下文示例：通过嵌入实现结构化任务适配

arXiv:2610.07572v1 公告类型：交叉收录 摘要：上下文学习（ICL）利用少量示例，使参数冻结的大型多模态模型（LMMs）适应新任务，但每次查询都要重新编码这些示例，而每张示例图像会增加多达数百个视觉词元。无示例方法通过紧凑的任务状态消除了这一开销。然而，这些方法将任务状态添加到针对每个任务搜索确定的位置，或添加到每个解码器层中，后者的任务参数量会随深度增加。此外，插入的词元或键无法改变原始提示在层内分配注意力的方式。为解决这些问题，我们提出 Structured Task Adaptation via Embeddings（STAVE），用添加到现有输入嵌入中的两个任务专属向量替代示例。具体而言，读出向量更新用于生成答案的词元，上下文向量则更新其他结构性词元组。这两个向量均使用答案标签，在包含和不包含示例的提示上进行训练。我们通过损失的一阶分析和间隔界，从理论上论证这些设计选择的合理性。在六个大型多模态模型和五个大型语言模型上开展的大量实验表明，STAVE 在多模态任务上以少得多的任务参数达到或超越最先进方法的表现，并在 18 项文本任务上超越 15 样本 ICL 和已有任务向量方法，且推理成本均与零样本推理相同。