基于表征的多模态 LLM 测试时自适应的局限性
On the Limits of Representation-Based Test-Time Adaptation for Multimodal LLMs
精选理由
揭示多模态大模型的表征级测试时适应难以抵御图像损坏，为提升其鲁棒性指明方法边界。
AI 摘要
arXiv:2610.19892v1 公告类型：新论文 摘要：视觉语言模型在常见数据损坏下会出现显著的准确率下降。尽管测试时自适应（TTA）能够有效缓解类 CLIP 对比模型中的这类分布偏移，但其在生成式多模态大语言模型（MLLMs）中的应用仍缺乏充分探索，而且由于这类模型逐个生成词元的特性，还面临独特的挑战。在本研究中，我们证明，基于表征的 TTA 无法恢复 MLLMs 的性能。我们的实验表明，即使违背标准 TTA 假设、离线利用目标数据，不区分样本的特征对齐也只能带来微小的准确率恢复。我们将这一失败归因于数据损坏所引起的偏移的性质：类 CLIP 架构受益于单个池化分类嵌入中的共享域偏移方向，而 MLLM 视觉词元序列的偏移则几乎彼此正交，并张成整个嵌入空间。这些发现界定了在编码器单一位置施加任何不区分样本、跨位置共享的校正所能达到的效果上限，表明仅靠表征空间干预可能不足以确保 MLLMs 对数据损坏的鲁棒性。