arXiv cs.AI精选73

Timbre:面向无标签多模态测试时强化学习的可靠性感知谐波共识

Timbre: Reliability-aware harmonic consensus for label-free multimodal test-time rexinforcement learning

· 23小时前

精选理由

提出可靠性加权共识方法,降低多模态伪标签误判,提升测试时适应与迁移效果

AI 摘要

无标签测试时强化学习利用模型自身预测所得的奖励来适配视觉—语言模型。然而,对视觉证据的误解以及对文本表述方式的敏感性,可能产生一致但错误的共识,并通过多数投票得到强化。跨视图聚合能够暴露此类错误,但图像和文本变换本身也可能以不同程度损害与任务相关的证据。我们提出 \method,一种面向多模态测试时强化学习的可靠性感知谐波共识框架。\method 构建一个 $2\times2$ 网格,将原始图像与扰动图像分别结合直接求解模式和重新表述模式,通过加权谐波聚合选择伪标签,并利用伪标签置信度变化的批次平均、时间平滑偏移,将其作为启发式可靠性信号来调整模态级权重。我们将共识表述为一个加权 $χ^2$-重心问题,其唯一极小值是归一化的加权谐波聚合结果,且不要求正确答案具有不变性。精确的支持度—离散度分解刻画了谐波聚合保留或纠正算术排序的条件;同时,敏感性分析揭示了模态重加权如何改变成对排序的间隔,从而为启发式更新的解释提供依据。在六个基准和三种规模的 Qwen3-VL 模型上,在匹配估计与优化 rollout 次数的条件下,\method 在适配实例的 18 个基准—模型设置中有 16 个优于 TTRV,在留出实例的 18 个设置中有 17 个优于 TTRV。这些结果表明,该方法能够提升目标任务适配能力,并在无需进一步更新的情况下迁移到未见实例。

查看原文(arXiv cs.AI)