Neural Spectral Capacity：仅凭网络规格测量和设计架构

现代 Transformer 的设计与压缩都可归结为在预算约束下分配容量。用于这些决策的标准标量指标 #Params 和 #FLOPs 能反映规模与计算量，却无法体现架构结构：两个参数预算相同但深度-宽度、注意力头或 FFN 分配不同的架构会得到相同评分，但其行为却不同。我们提出 Neural Spectral Capacity（NSC），这是一种基于每个权重矩阵奇异值谱的闭式标量指标。在标准随机初始化下，Marchenko-Pastur 定律使 NSC 仅凭架构规格即可计算，无需实例化模型、数据或梯度。其逐层可加的结构支持 NSC-DP：一种精确的动态规划求解器，可在 CPU 上于数秒内返回资源约束下 NSC 全局最大的架构——这是对现有无训练代理指标进行黑盒搜索所无法提供的保证。在实证评估中，NSC 在七类 Transformer 和 CNN 系列的排序任务中优于 #Params、#FLOPs 及具有代表性的无训练代理指标（在 FlexiBERT 上，对于 #Params 差异小于 10% 的模型对，NSC 的 $τ= 0.505$，而 #Params 的该指标仅为 0.082）；NSC-DP 在 WikiText-103 上于 2 秒内发现了一种性能超过人工设计基线的 Transformer-XL 架构；此外，它无需任何校准数据，就能将 LLaMA-7B 剪枝为八项常识推理任务上表现最佳的 5.7B 模型，速度约为最强无训练代理基线的 5900 倍。