学习计算结构以实现高样本效率的预测

arXiv:2610.28555v1 公告类型：新 摘要：高维统计学习受到维度灾难的影响。幸运的是，许多实际感兴趣的函数在组合意义上是稀疏的，也就是说，它们可以表示为局部函数的组合，而每个局部函数只依赖少量变量，因此样本复杂度取决于局部元数，而非环境维度。然而，要实现这一优势，就必须利用隐藏的组合结构，而理论并未证明实际的基于梯度的训练能够做到这一点。我们使用 CSFRBench 研究这一差距：这是一个受控基准，在训练期间隐藏目标的组合计算结构，但保留该结构以供诊断。我们发现，稠密网络和基于稀疏性的基线方法都未能充分实现这一优势。受生物神经回路空间组织方式的启发，我们提出 Learned Wiring（LeWi）：每个神经元都有一个可学习的低维嵌入，只有彼此邻近的神经元相互连接，并且嵌入与权重联合训练。对于具有层次结构、中间结果复用或独立模块的目标，LeWi 提高了样本效率。在另外 32 个由独立采样的计算图生成的目标上，LeWi 是未获得目标图信息的方法中样本效率最高的，其学习曲线面积均值比稠密网络低 27%。对于包含单个高元数函数的目标，稠密网络表现更好。LeWi 的表示和连接关系与目标计算结构相一致。在涵盖控制、导航和操作的 17 项世界模型预测任务中，LeWi 在其中 16 项上优于稠密基线，并在 119 次基线比较中赢得 99 次。这些结果表明，联合学习连接关系与权重能够利用计算结构，从而提高样本效率。