Neural Cellular Automata 在其隐藏通道中学习通用特征

现代深度学习模型通过过参数化实现了令人印象深刻的泛化能力，但这一范式在小样本场景下往往难以避免过拟合与记忆。Neural Cellular Automata（NCAs）提供了一种参数效率极高的替代方案，但现有研究主要关注其输出，而其内部隐藏通道的作用在很大程度上仍未得到探索。本文研究了 NCA 隐藏通道的内部动态，并提出了一种新颖的迁移学习机制：将预训练教师模型的隐藏状态注入学生模型，以引导早期优化。在小样本和尺度变化的 MNIST 基准测试中，NCAs 的表现优于具有可比性的循环架构和前馈架构，仅使用极少的参数预算（约 9,800 个参数）便展现出更强的泛化能力。机制分析表明，隐藏通道通过吸收形态复杂性并收敛到彼此正交的状态，将特征提取与统一的分类共识解耦。此外，我们证明这些隐藏通道捕捉的是通用的、尺度不变的拓扑基元，而非特定类别的模板。这使得学生模型能够利用从仅在数字子集（0-5）上训练的教师模型中迁移的特征，在未见过的类别上实现出色的小样本性能。我们的研究凸显了利用隐藏状态动态作为一种稳健、去中心化的计算基底，用于参数高效迁移学习的潜力。