Kolmogorov-Arnold Networks：维数灾难与结构偏置

arXiv:2610.21480v1 公告类型：new 摘要：当目标函数能够由足够光滑的单变量边函数表示时，Kolmogorov-Arnold networks（KANs）具有与维度无关的逼近指数。我们考察这种有利的尺度变化究竟源于该架构本身，还是源于所假设的目标函数类别。对于任意深度的标准 spline-KANs，我们在各向同性 Sobolev 球上证明了一个最坏情况下界：当精度低于某个与维度无关的阈值时，所需的样条系数数量至少随输入维度呈指数增长。相比之下，现有的与组合结构相匹配的 MLP 结果表明，对于低元数目标函数，有利的指数并非 KANs 所独有。我们还重新审视了经验比较。在四个尺度律目标上，由已知分解构造的 spline-KAN 逼近器可以准确迁移到采用三次 ReLU 激活函数 $\sigma(x)=(\max\{0,x\})^3$ 的 MLPs 中，尽管其完整的稠密参数数量更多。在受控的 ridge-profile 扫描中，当每个非线性分量仅依赖于一个输入坐标时，KANs 具有显著优势。当某个分量耦合多个输入坐标时，这一优势可能急剧缩小。在严格的参数预算下，具有交互作用的目标函数通常更 favor MLPs。在 MNIST 的随机标签测试中，ReLU-MLPs 比仅使用样条的 KANs 更高效地拟合随机化训练标签。总的来说，这些结果表明，有利的尺度变化源于目标函数结构与相匹配的归纳偏置，而不是 KANs 具备某种能够普遍逃逸维数灾难的特性。