解构多任务主动学习：梯度冲突与正交分解的悖论

arXiv:2610.23623v1 发布类型：新 摘要：现有的多任务主动学习（MTL-AL）方法主要依赖对不确定性、多样性和梯度冲突等异质目标进行线性标量化。我们认为，这种纠缠式表述存在根本性局限，因为线性组合无法捕捉相互冲突目标下的帕累托最优权衡。为此，我们提出从组合转向解构，并引入一个沿三个正交维度重新思考 MTL-AL 的原则性框架。首先，我们发现了“冲突悖论”：尽管优化领域将梯度冲突视为需要抑制的干扰，但在候选样本排序时对冲突进行惩罚，其效果反而显著差于完全不对冲突进行评分。因此，我们将这两个问题解耦：采集函数不对冲突进行评分，而产生的干扰则通过训练期间的梯度手术加以解决。其次，我们提出正交分解，将采集过程分为信息性和探索性两个部分。这一两阶段过程先进行信息性筛选，再最大化覆盖范围，通过在实施多样性约束之前排除无信息的离群点，避免“多样性稀释”。第三，我们提出跨任务互信息（CTMI），这是一种基于协方差的跨任务依赖性统计量，由 MC-dropout 任务熵计算得到。在 COCO、Cityscapes 和 NYUv2 上开展的大量实验，包括与近期 MTL-AL 方法和数据选择基线的比较，均表明该方法持续优于当前最先进的方法，凸显出，对采集过程进行结构性重构所带来的收益大于增量式启发式设计。代码可在 https://github.com/Juho-Jung/multitask_active_learning_official 获取。