Latent-Lens：通过潜在通信赋予小型语言模型视觉感知能力

arXiv:2610.41751v1 公告类型：新提交 摘要：在模块化多智能体系统中，连接独立的视觉语言模型（VLM）与小型语言模型（SLM）通常迫使它们以离散文本的形式交换信息，从而形成有损瓶颈，导致空间信息和细粒度细节丢失。这一限制对 SLM 尤为严重，因为其有限的容量使其更加依赖输入信号的质量。近期的潜在通信方法通过在语言模型之间交换状态来实现通信。然而，VLM 如何向单独预训练的纯文本 SLM 传递视觉信息，仍未得到探索。我们提出了 \textbf{Latent-Lens}，这是一种轻量级编解码器，可直接在潜在空间中弥合冻结的 VLM 与冻结的 SLM 之间的表征差异，使它们能够完全通过隐藏状态进行通信。该编解码器由两部分组成：一个域编码器，将 VLM 的隐藏状态投影到 SLM 的嵌入空间；一个以 LoRA 形式实现的注意力解码器，教会 SLM 关注这些视觉前缀，而仅需训练 ${\sim}1.6$M 个参数（占两个模型总参数量的 0.2\%）。在视觉问答任务（CLEVR、GQA）上，Latent-Lens 分别达到 $81.0\pm7.9$\% 和 $65.4\pm5.4$\%，而在相同 LoRA 参数预算下，文本通信的结果分别为 $58.3\pm5.7$\% 和 $61.8\pm1.0$\%（相较于冻结模型的文本通信提升 30.2--69.8 个百分点）；在图像描述生成任务（Flickr8k）上，相较于同一基线提升了 16.5（相较于冻结模型基线提升了 18.8）。我们还使用 TinyLlama-1.1B 和 InternVL2-1B 对 Latent-Lens 进行了评估，这些模型采用了不同的架构、词表和隐藏维度。