Atom-JEPA：三维原子系统的联合嵌入预测架构
Atom-JEPA: Joint-Embedding Predictive Architecture for 3D Atomistic Systems
精选理由
Atom-JEPA以自监督学习3D结构，提升分子与晶体性质预测的迁移泛化能力
AI 摘要
arXiv:2610.08400v1 公告类型：新 摘要：大规模自监督预训练重塑了现代机器学习，显著提升了语言模型和视觉模型在下游任务中的泛化能力。尽管近年来深度学习推动了原子系统建模取得长足进展，但该领域的自监督预训练尚未实现同等水平的下游泛化能力。为此，我们提出 Atom-JEPA，这是一种受联合嵌入预测架构启发的自监督预训练框架，通过原子级和子结构级互补目标，从无标注的三维结构中学习潜在表示。我们在大规模分子和晶体数据集上对 Atom-JEPA 进行预训练，并通过在一系列多样化的下游性质预测任务上进行微调，评估其迁移性能。Atom-JEPA 在分子 ADMET 和量子化学性质预测任务上取得了当前最佳性能，并在晶体材料物理性质预测方面表现出很强的竞争力。这些结果表明，仅凭结构数据，潜在空间预测式预训练有望支持广泛的下游泛化。代码和预训练模型检查点已公开于 https://github.com/khelverskovp/atom-jepa