可学习谱激活

arXiv:2610.07419v1 公告类型：新论文 摘要：隐式神经表示（INR）的特性由其输入编码和激活函数所诱导的频谱结构决定。现有方法主要通过坐标编码或周期性非线性函数改变网络可用的频率，从而提升拟合能力。然而，频率获取并非唯一瓶颈：具有局部化或空间变化结构的信号要求网络能够高效地将不同频率组合成多谐波内部响应。我们提出可学习谱激活（LSA），用残差截断傅里叶级数替代固定的神经元级非线性函数，并在训练过程中学习其谐波幅度。LSA不会扩展渐近函数类，而是改变表示的因式分解方式：线性权重用于选择特征，激活系数用于控制频谱塑形，二者通过相互独立的梯度进行更新。在给定固定预激活值的情况下，激活输出关于这些系数是仿射的，因此，与频谱调整和特征选择相互纠缠的架构相比，LSA中的频谱调优构成了一个更直接的子问题。从经验结果来看，这种因式分解会将更多目标信号能量集中到神经切线核的主导特征模态中，这与更优的优化表现相一致。在音频、图像、神经辐射场和神经声场任务中，LSA还提升了重建质量。