VisionWeave：将弹性视觉表示编织为 MLLMs 的原生能力

多模态大语言模型已成为视觉理解的主流范式，但其需要将输入编码为密集且固定大小的图像块 token，因此产生了高昂的成本。然而，视觉信息的分布并不均匀：某些区域需要细粒度的细节，而另一些区域则可以采用紧凑表示。下采样会牺牲这些细节，而现有的 token 剪枝和自适应方法在内容自适应粒度、任务泛化能力，以及与现代 MLLMs 和服务基础设施的集成方面仍存在局限。要克服这些限制，需要基础模型以端到端方式学习在何处以及以何种粒度分配视觉表示；我们将这种原生能力称为弹性视觉表示编织。我们提出 VisionWeave，通过大规模训练在前沿级 MLLMs 中建立这一能力。该方法包含两个组件：门控空间池化器在共享的 MRoPE 坐标系中，同时构建粗粒度表示和原生细粒度表示；粒度路由器则学习根据内容自适应地分配二者。仅通过自蒸馏，我们在 Qwen3.5-4B 上验证了这一能力，并使用超过 30K A100 GPU 小时将其扩展到 Qwen3.8-27B。基于 Qwen3.8-27B，VisionWeave 可根据视觉内容自适应调整 token 节省比例，在八项基准测试中平均节省 43.0% 的 token，同时保留 98.9% 的原生性能；相比之下，在固定 50% 节省目标下，token 剪枝基线仅能保留 88% 的性能。大量评估证实，该方法在不同任务、分辨率和视频帧数量下均能实现稳健的效率—质量权衡。在 SGLang 服务引擎上部署时，我们的方法将吞吐量提升了 2.3 倍，同时将平均 TTFT 降低 54.4%，将平均 TPOT 降低 60.6%。综上，我们认为这些结果表明，弹性视觉编织有望成为下一代多模态模型的一项重要能力。