arXiv cs.AI精选79

WeLM-Image:迈向视觉智能的统一图像生成模型

WeLM-Image: A Unified Image Generation Model towards Visual Intelligence

· 1天前

精选理由

介绍兼顾图像理解、生成与编辑的统一模型,展示其单卡部署、高分辨率生成及快速推理能力。

AI 摘要

我们提出了 \textbf{WeLM-Image},一个统一的图像基础模型,将多模态理解融入文本生成图像、指令引导编辑和多参考图像合成。该模型面向 WeChat 大规模消费级应用中的单 GPU 部署而设计,将文本、参考图像和目标潜变量作为一个交错序列进行处理。混合 Transformer(MoT)骨干网络将共享注意力与独立的理解和生成参数相结合,以减少优化过程中的相互干扰。每条路径均配备混合专家(MoE)模块,以提供稀疏容量;模型存储参数量为 317 亿,每个目标潜变量词元激活约 54 亿生成参数。面向生成的数据引擎将基于知识的视觉词汇体系与大规模视觉聚类相结合,以平衡语义覆盖与编辑任务,同时通过训练期间的评估指导数据的迭代优化。双语标注和经过验证的编辑监督支持渐进式训练,最高达到原生 1.5K 分辨率。我们使用基于评分标准和检查清单的奖励分别优化生成与编辑,再通过噪声感知的同策略蒸馏整合专门优化的策略。在所报告的总体比较中,1536 分辨率模型在 PRISM-Bench、Qwen-Image-Bench 和 UnicBench 上均位列受评估开源模型第一。基于 MeanFlow 的少步蒸馏得到 WeLM-Image-Turbo,该模型在单张 NVIDIA H20 GPU 上仅需八个无引导步骤,即可在 4.98\,s 内生成一张 $1024\times1024$ 图像。

查看原文(arXiv cs.AI)