arXiv cs.AI精选72

从语料库到共同演化的能力:面向通用图像生成的能力中心数据设计

From Corpora to Co-Evolving Capabilities: Capability-Centric Data Design for Generalist Image Generation

· 56天前

精选理由

揭示如何按能力组织数据,提升通用图像生成训练效率。

AI 摘要

大规模图像生成受益于数据规模、质量、再平衡和重标注方面的进展,然而传统流程通常孤立地优化特定任务数据集。一个核心挑战不仅在于如何策划每个特定任务语料库,还在于如何根据生成能力之间的依赖关系来组织异构监督。我们提出了一种 \textbf{能力驱动的数据基础设施},将能力特定的监督构建与能力对齐的课程调度相结合。其三个专门化但可互操作的数据引擎为文本-图像对齐、图像间转换和图像-知识关联构建互补的关系监督,同时 caption experts 在任务和粒度之间对齐 T2I 与编辑监督。多阶段课程按照能力获取的依赖顺序,共同演化任务组成、视觉概念分布、数据质量和图像分辨率,并通过定向检索、专家构建和差距感知重采样,以能力感知评估闭合循环。在大规模下,该框架策划了一个包含 440M 图像的 T2I 语料库、120M 个编辑对,以及超过 27M 个图像-实体对。借助这一基础设施,我们从头训练了两个规模的多模态扩散模型,大小分别为 3B 和 6B。我们在 CPI-Bench 上进行了定量评估,并在多样化的文本到图像和编辑场景中进行了定性评估。实验结果展现了广泛的视觉覆盖、多样的渲染能力,以及生成能力之间的有效迁移。

查看原文(arXiv cs.AI)