重放必须保留什么？将可校正偏置与类别对应关系分离

arXiv:2610.07077v1 公告类型：新 摘要：类增量学习必须在没有任务标签的情况下识别截至目前见过的所有类别。DER 和 DER++ 等 logit 重放方法通过匹配模型在存储样本上的过往预测来缓解遗忘。删除这种匹配可以揭示其作用，但由此产生的准确率损失无法说明：究竟是存储的分数本身不可或缺，还是这种损失在校正分类器偏向近期类别的偏置后仍然存在。我们提出了一个诊断框架，将缓存的预测视为时间上异质的监督信号：该框架将类别分为样本存储时已知的类别和之后学习的类别，分别编辑这两组类别，并在施加任务级偏移前后评估每个模型；这种偏移不会改变任务内的预测。在 CIFAR-100 上，对于 DER++，使用合适的固定常数替代之后学习类别的未刷新的存储分数后，准确率与原方法的差距可控制在 1 个百分点的等价范围内；该偏移还将删除这些类别匹配所造成的损失从 14.9 个百分点降至 1.8 个百分点。重新分配存储时已知类别的非真实标签分数，同时保留其数值和每个任务的目标概率，在施加偏移前造成 4.3 个百分点的损失，之后仍造成 4.0 个百分点的损失；在图像蒸馏中也存在类似的损失。在所测试的固定分类头设置下，删除之后学习类别匹配所造成的大部分损失可以通过这一偏移得到校正，而破坏类别对应关系所造成的较小损失则依然存在。代码和数据可在 anonymous.4open.science/r/replay-preserve-E22B 获取。