arXiv cs.AI精选75

TailSteer:通过轨迹尾段引导实现抗漂移多轮图像编辑

TailSteer: Trajectory-Tail Steering for Drift-Resistant Multi-turn Image Editing

· 15小时前

精选理由

TailSteer通过在去噪末段抑制偏移,提升多轮图像编辑的长期稳定性,同时保留模型原有能力。

AI 摘要

强大的单轮编辑性能并不保证可靠的多轮交互:当编辑后的输出被反复用作后续输入时,细微的非预期变化可能累积成严重的视觉漂移。缓解这种长期漂移通常需要利用多轮数据或跨轮次展开轨迹进行训练,但这可能改变预训练先验;另一种方法是采用专门的推理时机制,但此类机制难以扩展至基础模型。我们提出 TailSteer,这是一种末阶段训练框架,能够在保留先前训练所获得的生成与编辑能力的同时,提高多轮编辑的鲁棒性。TailSteer 遵循一个简单原则:使早期去噪动态保持接近基础模型,并将旨在保留原始内容的校正集中在轨迹尾段,从而抑制细粒度偏差。这些校正通过编辑模型自身基于当前策略展开的去噪轨迹进行学习,以源图像中应保持不变的内容作为保留参考,无需精心整理的真实编辑配对数据。在 FLUX、SenseNova 和 Qwen 系列模型上的实验表明,TailSteer 显著减少了 15–20 轮编辑中的累积漂移,同时在广泛的文生图与单图编辑基准测试中基本保持了基础模型的性能。这些结果表明,通过 TailSteer 可以释放基础模型在长程编辑中的鲁棒性,而无需重新学习其已有能力。

查看原文(arXiv cs.AI)