InGuard：迈向安全文本到图像生成的通用内部安全防护栏

现代文本到图像（T2I）模型能够根据任意用户提示词生成高质量图像，但同样也很容易生成不适合工作场景（NSFW）的内容。传统的外部安全防护机制由两个组件构成：在生成前检查风险的提示词分类器，以及检查完整生成图像的事后图像分类器。在这种设计中，两个分类器都运行在生成管线之外，并且不使用模型自身的表征。这种分离可能会限制提示词筛查的准确性，而图像侧检查只有在付出完整生成成本后才会运行。此外，即使某个被标记的提示词经过调整后能够生成安全图像，也只能被拒绝。在本文中，我们提出内部安全防护栏（InGuard），这是一种在管线内部基于模型自身表征运行的安全框架，同时保持基础模型参数不变。首先，风险分类器根据文本编码器的嵌入，在不使用外部语言模型的情况下，将每个提示词判定为不安全、有风险或良性。其次，SAGE（用于嵌入的软门控非对称安全防护栏）会修改有风险提示词的嵌入，旨在返回安全图像，而不是直接拒绝生成。第三，潜变量检测器会在去噪过程的中途检查一步式干净潜变量估计，在检测到风险时停止生成，同时达到近似图像级检测的性能。我们还构建了 RevGen Safety Benchmark，用于在真实条件下评估 T2I 安全性：其中包含 10,000 个通过真实图像反向生成构建的提示词，并通过重写步骤提供受控的知识产权（IP）角色，涵盖分级的色情/血腥风险、类别化的 IP 风险以及良性负样本。在五个开放权重 T2I 模型上，InGuard 达到 97.9%–98.8% 的安全率，与外部安全防护机制持平或更优，同时良性样本扰动减少 57.5%–73.5%，参数量约减少 3.7 倍，并可跳过 50%–55.6% 的去噪步骤。