用于 Transformers 内部异构资源分配的结合残差上下文的神经谱容量

arXiv:2610.30823v1 公告类型：新论文 摘要：当训练成本限制实验开展时，根据架构规格预测训练后的相对性能可以指导设计。神经谱容量（NSC）提供了这样一种启发式方法，但它对各投影独立评分，并为同一组层配置的兼容重排赋予相同分数。我们为 Transformers 提出残差感知神经谱容量（ResNSC），利用从规格推导出的累积残差更新的统计参考，确定每个投影容量计算中的输入和残差状态统计量，同时保留无需数据或实例化权重的加性评估方式。当残差宽度变化时，先前的选择会影响后续评分，因此我们在 NSC 的分配器（NSC-DP）的层与预算状态之外，进一步引入残差历史信息。ResNSC-DP 在资源预算约束下联合分配残差宽度和前馈宽度，并为指定有限候选集内经数值评估的最优 ResNSC 分数提供经过认证的界限。在 121M 和 374M 的预训练规模下，所选架构在相近参数预算下，在 FineWeb-Edu、WikiText-2 和 LAMBADA 上的平均困惑度均低于均匀、可变宽度和渐缩分配方案。在使用 LoNAS 超网络、继承权重的 LLaMA-7B 剪枝中，ResNSC-DP 在八组匹配的参数预算下，相较于 NSC 将八项任务的平均准确率提高了 3.28–5.46 个百分点。配对反转保持了投影形状和 NSC 分数不变，却在两种设置下都导致性能下降，揭示了与位置无关的评分方式所掩盖的性能差异。本研究的代码可在 https://github.com/Optima-CityU/neural-spectral-capacity 获取。