在设计模板中学习图像与布局先验之间的交互以联合生成图像和布局

本文研究平面设计模板创建问题：根据输入文本生成背景图像以及覆盖在背景上的前景元素布局，从而形成和谐的构图。以往的平面设计生成工作大多采用顺序式范式，即依次生成设计元素。我们认为，这种顺序式方案难以忠实捕捉背景与布局之间的依赖关系（以及由此形成的联合图像—布局分布），从而限制了生成设计模板的质量。为克服这一局限，我们提出了模型 InterIL，在单一生成过程中联合生成背景图像和布局两种模态。我们联合模型的新颖设计通过可学习的通信模块连接预训练图像扩散模型和布局扩散模型的骨干网络，从而显式建模双向的图像—布局交互。在训练过程中，图像和布局骨干网络保持冻结，以保留并利用丰富的预训练单模态先验知识；同时仅更新通信模块，使模型能够专注于学习图像—布局交互，进而更好地捕捉联合图像—布局分布，提升构图和谐性。我们的模型不包含特定于设计的归纳偏置，因此能够更好地保留真实设计的原有特征。我们还进一步提出了一种测试时引导策略，使用户能够对生成结果施加特定偏好。实验表明，与以往方法相比，我们的模型在图像、布局以及图像—布局协调性方面均能生成显著更优的结果，输出更接近真实样本。我们还展示了模型在推理阶段强制施加用户偏好的灵活性，且无需重新训练。