Latent JEPA：用于化学潜在推理的抽象未来预测

arXiv:2610.01947v1 公告类型：新 摘要：大型语言模型为化学推理提供了一个颇具前景的基础，将化学知识与多步问题求解结合起来。在解决方案的细节尚未完全推导出来之前，化学直觉可以对可能的结果形成初步判断。受这类预期如何补充显式分析的启发，我们研究了如何训练连续潜在思维，使其能够预判未来解决方案中具有信息量的方面，而无需将每个中间步骤都用语言表达出来。我们提出了 Latent JEPA，这是一种将自回归学习与一个或多个未来视图的联合嵌入预测相结合的框架。针对化学推理，我们设计了文本预测和分子预测目标，将潜在思维分别与后续推理和分子结果联系起来。在 ChemCoTBench 上的实验表明，该方法在分子优化以及多项编辑和反应指标上均取得了提升。表征分析显示，未来预测使潜在思维包含更多关于分子结果的信息，并增强了其与化学结构的对应关系。这些发现支持将抽象未来预测作为一种学习原则，用于连接连续的潜在推理与科学结果。