arXiv cs.AI精选79

绘制之前先思考:面向扩散模型的递归潜在推理

Think Before You Paint: Recursive Latent Reasoning for Diffusion Models

· 6天前

精选理由

提出无需符号监督的递归潜在推理,让扩散模型更可靠地生成满足复杂约束的图像。

AI 摘要

扩散模型能够生成逼真的图像,但在填写数独或绘制迷宫路径等视觉推理任务上往往表现不佳。当存在离散符号表示时,Tiny Recursive Model(TRM)等递归方法甚至能够解决这些谜题中的高难度实例。我们探讨了如何将此类推理迁移到不存在符号表示的像素空间。我们提出 Painter-Thinker(PaTh):一个小型递归网络(Thinker)在一组编码含噪图像和条件信息的学习型词元网格上进行推理,在每个去噪步骤内细化潜在状态,并通过 ControlNet 适配器引导参数冻结的扩散模型(Painter)。Thinker 仅使用标准重建损失进行训练,无需符号目标、求解器或验证器。PaTh 在困难级 MNIST 数独谜题上的解题成功率为 92.5%(此前最佳为 75%),在极难级谜题上为 71.2%(此前最佳为 4.1%),其参数量仅为 1000 万,而标准扩散模型的参数量为 8200 万。它在迷宫、皇后问题以及具有指定空间关系的 CLEVR 场景上也取得了提升,而且其优势随问题规模增大而扩大。诊断实验表明,PaTh 能够纠正人为注入、而扩散模型无法修复的错误,尤其是在许多单元格出错时。综合来看,这些结果表明,为符号数据开发的推理机制可以在无需符号监督的情况下融入像素空间扩散过程,为在日益复杂的约束下生成数据开辟了道路。

查看原文(arXiv cs.AI)