用于算子学习的通用潜在空间的自监督学习

arXiv:2611.05735v1 公告类型：新论文 摘要：神经算子会根据其训练任务来拟合函数表示，因此每个新任务都需要利用标注数据重新构建一个降维空间。借鉴使自然语言处理和计算机视觉中的表示得以共享的自监督预训练方法，我们将表示学习与算子学习解耦。我们使用即时合成的解析函数对函数自编码器进行预训练，无需求解器或标签，使其能够表示任意点云上的函数，并将其所构建的潜在空间冻结，在不同任务中重复使用。该表示对平移、缩放和幅值变换具有严格的等变性，并能在从未见过的几何结构上重建偏微分方程（PDE）的解和自然图像。由于不依赖特定任务，这一潜在空间本身就具有可解释性。整个空间都得到利用，且可解码为有效的场；它保留了物理场之间距离的大小顺序，其测地线能够对物理演化过程进行插值，编辑方向也可在不同场之间迁移。在表示映射被冻结的情况下，数据集只需编码一次，神经算子即可完全基于缓存的嵌入进行训练，从而节省内存和训练时间。在涵盖流体动力学、固体力学、声学以及 Helmholtz 和 Poisson 方程的 28 项任务中，这一范式的精度可超越最先进的端到端架构，吞吐量最高可提升一个数量级，节省的显存则使消费级 GPU 能够容纳规模大近两个数量级的模型。在推理阶段，潜在空间中的滚动预测速度最高可比常规滚动预测快一个数量级，而分块推理可在单张消费级 GPU 上处理包含超过五亿个点的函数。