针对测试时二值分割中熵诱导坍塌的平衡提示适配
Balanced Prompt Adaptation against Entropy-Induced Collapse for Test-Time Binary Segmentation
精选理由
提出平衡提示适配,缓解熵最小化导致的分割塌缩,提升跨域二值分割表现。
AI 摘要
熵最小化是测试时适配(TTA)的标准目标,但在不平衡二值分割中可能失效。不同于图像分类,密集分割会聚合数千个像素预测,使预测数量较大的类别主导更新,将少数类预测拉向自身,并在预测逐渐饱和、熵梯度消失时产生退化掩码。我们在共享偏移模型中从理论上证明了这种坍塌现象。该分析促成了 Balanced-Anchor Prompt Adaptation(BAPA),它结合了两个互补模块。Class-Balanced Anchors(CBA)模块分别从每个预测类别中选择高置信度锚点,并赋予前景和背景相等的总损失权重,从而防止较大区域主导更新。Dynamic Prompt Adaptation(DPA)在每次预测更新后刷新这些锚点,并且仅优化文本侧提示残差,同时冻结视觉-语言编码器。这种仅更新提示的方式能够细化前景与背景之间的决策边界,而不会改变预训练的密集视觉表征。在来自四个领域的实验中,BAPA 在所评估的方法中取得了最高的平均 Dice。因子化消融实验进一步验证了 CBA 和 DPA 的互补作用,表明平衡提示适配是测试时二值分割中熵最小化的一种有效替代方案。