发现基于扩散的 AIGC 模型 LoRA 适配器中未披露的概念

arXiv:2610.18990v1 公告类型：交叉收录 摘要：低秩适配（LoRA）使扩散模型的个性化成本更低，也便于广泛共享，但当有害或存在问题的内容未被如实披露时，它也会带来内容审核风险。因此，有必要开发一种机制，能够根据给定的 LoRA 适配器，发现其训练所针对的生成概念，从而支持后续调查。我们通过最能清晰揭示 LoRA 所学内容的条件输入来刻画目标概念。这种输入应使 LoRA 生成的输出具有一致性，与基础模型的输出有明显区别，并且与学习到的 LoRA 子空间高度对齐。因此，我们将概念发现表述为搜索条件输入的过程，使输出一致性、LoRA 引入的区分度以及子空间对齐程度同时最大化。然而，即便目标明确，在开放式输入空间中对其进行优化的成本仍高得难以承受，因为可靠地评估一致性和区分度需要反复进行扩散渲染。关键在于，我们观察到，无需对输入进行渲染，就能判断其是否具有潜力。输入与学习到的 LoRA 子空间的对齐程度提供了一种轻量级信号，可在视觉验证之前定位有潜力的候选输入。基于这一洞见，我们为文生图 LoRA 开发了一个两阶段框架。子空间引导的进化搜索（SGES）利用无需渲染的子空间对齐信号探索候选提示词，并保留一个精简的候选列表；配对视觉识别（PVI）则仅对这些候选提示词进行渲染，并比较 LoRA 与基础模型的输出，以识别出表现出一致且具有区分性的生成行为的候选提示词。这一设计能够高效、可靠地发现编码在 LoRA 适配器中的先前未知概念。