域泛化语义分割的谱不变融合与细化
Spectral Invariant Fusion and Refinement for Domain Generalized Semantic Segmentation
精选理由
介绍以频谱建模融合视觉特征、提升跨域语义分割稳健性与精度的方法。
AI 摘要
域泛化语义分割面临挑战,因为它要求在训练期间完全无法访问目标域数据的情况下,对未见域进行准确的密集预测。现有方法通过数据多样化、不变性学习或直接使用基础模型来提升迁移能力,但往往难以同时抑制域敏感干扰并保留细粒度空间线索。在本工作中,我们提出 SIFR,一种具有频率感知能力的双流框架,从融合和解码两个阶段应对域偏移。SIFR 将谱建模作为统一原则,用于调节异构先验交互和密集解码器细化。SIFR 不直接融合冻结的 CLIP 和 DINOv2 特征,而是执行谱引导的不变融合,在保留互补语义与结构信息的同时,滤除域敏感响应。此外,SIFR 引入谱解码器细化模块,通过基于低频统计的归一化和自适应频率选择来稳定多尺度解码器特征,从而减少密集预测中残余域偏差的传播。这一设计使 SIFR 能够在严重分布偏移下同时提升域鲁棒性和分割精度。在包括合成到真实、真实到真实以及恶劣天气场景在内的多个 DGSS 基准上的大量实验表明,相较于此前最先进的方法,SIFR 始终取得了更好的性能。