关于 VAE 潜空间中的色彩对齐及其应用

arXiv:2610.07072v1 发布类型：cross 摘要：变分自编码器（VAEs）是现代文本到图像模型的重要组成部分，这些模型在其潜空间中生成图像。众所周知，VAEs 能够解耦数据中的主要变化因素，而在自然图像中，色彩是这些因素中结构最明显的因素之一：对其进行去相关处理，可以得到一个亮度轴和两个对手色轴。因此，可以预期色彩会作为一个独立因素出现在 VAE 潜空间中。然而，这些潜空间如何表示色彩，目前仍鲜有研究。在本文中，我们展示了文本到图像模型中的 VAEs 共享一个与亮度和对手色对齐的色彩子空间。通过对编码器进行线性近似并实施有针对性的潜变量引导，我们在从 SD1.5 到 FLUX.2 和 Z-Image 的广泛 VAEs 中，一致地发现了这一子空间。在此表征的基础上，我们提出了三种应用：ColorTuning，在 GenColorBench 的细粒度 CSS3/X11 色彩系统上实现了精确数值色彩生成的当前最佳性能；饱和度控制，用于调整全局色彩强度；以及色彩迁移，用于改变色板以匹配参考图像。代码和模型已公开发布于 https://julian075.github.io/Color_Subspace/