Transformer神经算子对更大空间域的零样本泛化
Zero-shot generalization of transformer neural operators to larger domains
精选理由
以可分解局部偏置提升Transformer神经算子在更大空间域上的零样本泛化能力。
AI 摘要
arXiv:2606.14597v2 公告类型：替换 摘要：基于Transformer的神经算子在逼近复杂几何上的偏微分方程解算子方面展现出了卓越性能。然而，现有方法隐含地假设空间域大小固定，这限制了其在推理阶段的泛化能力。在本文中，我们研究空间域扩展问题，即在显著大于训练期间所见空间域的空间域上进行零样本推理。我们认为，这种设置从根本上要求具备空间局部性和平移等变性。为此，我们在注意力logits计算中引入一种可分解偏置来实现局部性，从而实现精细可控的局部性，同时仍可完全分解为查询-键内积，并能直接兼容经过优化的注意力内核。结合旋转位置嵌入，该方法能够在不改变Transformer架构的情况下，实现具有可控空间支持范围的高表达能力嵌入。我们通过两个偏微分方程基准测试和一个3D工业大气流应用的实验证明，我们的方法显著提升了对更大空间域的零样本泛化能力。我们的代码和数据集已发布于 https://github.com/cerea-daml/domain-extension。