FFR：用于回归的 Forward-Forward 学习

arXiv:2606.03927v2 公告类型：替换 摘要：Forward-Forward（FF）算法通过纯局部的逐层优化训练神经网络，为反向传播（BP）提供了一种计算高效且具有生物学合理性的替代方案。然而，FF 本质上是利用正负样本对进行对比学习的分类算法，将其扩展到回归任务面临根本性挑战：连续目标空间缺乏可用于对比学习的天然“对立项”，而标准的优度函数不包含目标幅值或次序信息。我们提出 FFR（Forward-Forward for Regression）；据我们所知，这是首个将 FF 扩展到真实世界回归任务，并在多种真实世界数据集上展现出竞争力的框架。FFR 引入了三项关键创新：（1）序数竞争优度函数，在距离感知的序数监督下，以划分后的神经元组之间的竞争学习取代对比样本对；（2）分层阶梯架构，由浅层学习粗粒度的序数判别，深层进一步细化为细粒度回归，并通过多尺度特征聚合实现层间协作；（3）带有不确定性估计的分层预测，由多尺度预测器共同提供稳健的预测结果和单次前向传播的不确定性评分。大量实验结果表明，在六个真实世界回归基准上，FFR 的准确率平均达到 BP 的 98.5%，同时在深度为 8 时将训练峰值内存占用降至 BP 的 27%，在深度为 32 时降至 8%，每次迭代耗时约为 BP 的 72%，且性能显著优于所有不使用 BP 的竞争方法。