合成基准高估了 Forward-Forward 的扩展能力：层局部训练在真实数据上的局限性

arXiv:2606.06539v2 公告类型：replace-cross 摘要：Forward-Forward（FF）学习 [Hinton, 2022] 以严格的层局部 goodness 更新取代反向传播。近期的 FF-CNN 工作已缩小了其与 BP 在 32x32 基准上的差距，这引出了一个问题：层局部训练是否正在成为现实规模下可行的替代方案。为严谨地探究这一点，我们开发了 DTG-FF——动态温度 goodness、解耦归一化和多层融合——作为一种评估工具。在本文投稿时，该方法在九个真实数据基准上达到了 FF 系列的最佳水平（CIFAR-10 上达到 91.8%，并在 ImageNet-100 224x224 上建立了 FF 基线），我们利用它来审查层局部训练究竟能够扩展到何种程度。（1）真实数据上的扩展。在采用完全相同的训练配置和骨干网络时，架构匹配的 BP-DeepSup 基线在 CIFAR-10/CIFAR-100 上分别以 2.40/5.93 个百分点超过 DTG-FF，且随着类别数增加，差距进一步扩大。在 224x224 分辨率下，该工具在 ImageNet-100 上仅达到 49.4%，而即使是采用自监督 BP 训练的 ResNet-50 配合线性评估，也能达到 75.6% [Tian et al., 2020]——这揭示了一个在 32x32 设置下无法观察到的真实数据性能上限。（2）合成数据与真实数据中的 K 冲突。在合成 teacher-student 任务中，随着类别数 K 增加，DTG-FF 相对于 BP 的优势不断扩大；然而在真实图像上，FF 与 BP 之间的差距符号发生反转，并且随着 K 增加而扩大。在同一数据集内对 CIFAR-100 的粗粒度标签与细粒度标签进行探测，可以将标签层级与图像分布区分开来：合成数据中的 K 扫描将输出维度与细粒度判别难度混为一谈，从而高估了 FF 的迁移能力。（3）系统审计。FF 可以在不存储跨越整个网络深度的激活值的情况下实现，但在普通的 8 GB 硬件上，标准 BP+梯度累积可达到 4.18 GB / 157 imgs/s，而 DTG-FF 为 7.90 GB / 138 imgs/s。因此，在这一规模下，在公平基线条件下，并不支持以节省内存作为采用 FF 的理由。