ELROND：探索和分解扩散模型的内在能力

arXiv:2602.10216v2 公告类型：替换 摘要：向扩散模型输入单个文本提示词，会得到完全由随机过程决定的大范围视觉输出，用户无法直接控制其中出现哪些语义变体。探索这一范围十分困难：随机搜索无法保证覆盖整个范围，而提示词编辑过于粗糙，因为措辞的微小变化也可能大幅改变生成的图像。我们认为，系统性探索需要恢复模型自身组织其可生成条件分布的方式。我们将这一结构形式化为生成流形，并提出 ELROND，用于恢复给定条件下该流形的切空间。为此，我们收集对固定提示词的随机实现之间的差异进行反向传播所得到的梯度，并使用主成分分析或稀疏自编码器将其分解为可解释的方向。我们表明，在受控环境中，该方法能够准确恢复这一子空间，并在大规模模型上从行为层面验证了这一点。我们还证明，与依赖外部表征的方法相比，恢复出的结构能够支持对模型能力进行更广泛的探索，并且无需重新训练即可缓解蒸馏模型中的模式坍塌。