受动态系统启发的面向 AI4Science 任务的连续大语言模型

arXiv:2610.26959v1 公告类型：新摘要：科学基础模型日益广泛地处理连续现象，但仍采用离散的残差计算。我们探讨：预训练的残差变换能否在不扩展主干网络的情况下支持额外的潜在计算。为验证这一可能性，我们提出 Continuum-LM，在连续深度语言模型中将这些变换重新用作动力学算子。其隐藏状态通过常微分方程演化，并采用高阶数值积分进行求解，其中求解器阶数和步长控制计算量。在八项科学任务中，Continuum-LM 训练稳定；与离散模型相比，在 0.6B 和 1.7B 规模下，平均精确匹配准确率分别提高了 7.77 和 10.96 个百分点。在 0.6B 规模下，在参数量和残差函数评估预算相匹配的条件下，它也优于 Ouro-style 循环控制方法。总体而言，这些结果表明，通过参数复用可以扩展计算深度，并将连续隐藏状态演化确立为科学语言模型的一项实用设计维度，使其超越单纯的参数规模扩展。