稀疏性驱动的多任务神经网络功能模块化涌现

arXiv:2610.32153v1 公告类型：新 摘要：神经网络能够学习多个任务，但学习过程如何将共享计算组织成专门化且可复用的组件，仍缺乏充分理解。在本研究中，我们表明，诱导稀疏性的正则化能够在没有预先定义模块边界的情况下，促进多任务网络中的功能模块化。通过对多层感知机和轻量级 Transformer 进行功能分析，我们识别出紧凑且具有任务选择性的子网络，并将其称为功能 token。在基于规则的任务族中，有选择地保留这些 token 可以保留其关联功能，同时降低在其他任务上的性能。这种专门化在训练过程中会优先在较深层中形成，而较早层则保留共享计算。正则化的强度和形式会影响模块的紧凑性与专门化程度，而任务权重则会改变功能分配。此外，提取出的功能 token 可以通过替代路径重新组合，在无需重新训练的情况下重建已学习的复合计算，同时保留其连接关系和学习到的权重。我们的结果表明，稀疏性约束优化不仅塑造参数的使用方式，也塑造了已学习计算的组织与复用方式。