arXiv cs.LG精选76

CacheScope:用于免训练扩散加速的精确计算分配

CacheScope: Exact-Compute Allocation for Training-Free Diffusion Acceleration

· 2天前

精选理由

CacheScope在线识别高风险缓存步骤并恢复精算,无需训练即可加速扩散生成、显著提升画质保真度。

AI 摘要

arXiv:2610.12530v1 公告类型:新论文 摘要:免训练特征复用通过在选定步骤中用缓存近似替代完整的去噪计算,加速扩散 Transformer 推理。现有方法主要致力于改进被跳过特征的重建,但我们发现,一旦采用稳定的一阶重建器,增加重建复杂度所带来的收益就十分有限,而精确计算步骤的位置对保真度的影响要大得多。更重要的是,浅层探针变化的绝对量同时受到输入轨迹位移和网络响应强度的影响,因此不能直接反映缓存风险。为消除这种混杂影响,我们用相应的输入位移对探针输出变化进行归一化,得到单位轨迹移动的方向增益。基于这一信号,我们提出了 CacheScope,它可在线识别高风险复用步骤,并选择性地回退到完整的去噪计算,同时保持底层缓存重建器不变。CacheScope 无需额外训练、梯度、辅助网络,也无需针对特定提示词进行离线调度优化。在 FLUX.1-dev、Wan2.1-T2V-1.3B 和 Open-Sora 1.2 上,CacheScope 实现了最高 3.57 倍的加速,并且相较于最强的基于探针的基线方法,将 LPIPS 中位数最多降低了 70.1%。

查看原文(arXiv cs.LG)