DVLA-RL++：面向小样本学习的基于强化学习门控的双层次视觉语言对齐
DVLA-RL++: Dual-Level Vision-Language Alignment with Reinforcement Learning Gating for Few-Shot Learning
精选理由
通过剔除图像中的偶然背景信息并自适应融合语义，提升少样本识别在细粒度与跨域场景下的准确性。
AI 摘要
arXiv:2610.12095v1 公告类型：交叉发布 摘要：小样本学习旨在利用有限的标注样本识别新类别。近期研究引入文本语义，以弥补视觉观测不足并改善类别表示。然而，较高的图像文本一致性可能同时反映物体的固有属性和偶然出现的上下文，使支持集原型容易受到上下文污染。为解决这一问题，我们提出 DVLA-RL++，在 DVLA-RL 的基础上引入互补语义净化（CSP）和反事实强化学习门控（CRG）。具体而言，CSP 根据带标注的支持样本生成固有属性描述与干扰因素描述，并比较这些描述与每个支持样本词元的一致性。随歧义程度变化的拒绝间隔引导稀疏证据分配，而固有语义锚点则填补未分配的权重，在视觉证据不可靠时提供兜底。CRG 使用兼顾识别性能与干扰暴露程度的奖励，学习逐层语义融合强度。在同一小样本学习任务中独立执行的参考轨迹提供配对学习信号。理论分析将保留证据及锚点质量与原型稳定性联系起来，并确立了同策略梯度无偏估计的条件。在标准、细粒度和跨域基准上的实验表明，该方法达到最先进的准确率，较 DVLA-RL 平均提升 1.4%。项目页面：https://peacelwh.github.io/TPAMI27-DVLA-RLpp/。