SciTBERT：面向科学与技术语言处理的时间一致性语言模型家族

arXiv:2610.12207v1 公告类型：交叉发布 摘要：预训练 Transformer 模型正越来越多地用于研究科学与技术进步。针对论文或专利文本调优的编码器，在科学与技术领域的下游分类、回归和相近性任务中，表现优于通用模型。然而，由于这些预训练模型固有的前视偏差和领域偏差，它们在研究科学、技术及其交叉领域的时间依赖特征或历史档案特征方面的适用性受到限制。这些局限源于训练语料在时间分布和文本来源分布上缺乏约束。我们提出 SciTBERT：一个基于 BERT 衍生架构的时间一致性语言模型家族，使用科学论文、专利和高质量教育类网页文本进行训练，训练数据截止日期覆盖 2013 年至 2025 年间的每一年。我们还利用论文和专利引用，以保持时间一致性的方式对这些模型进行后训练，构建了 SciTBERT-CI 模型家族。我们发现，即使训练数据受到语料中较早年份截止日期的限制，这些模型的表现通常仍优于此前的领域专用编码器模型。为进一步探究此类模型在多大程度上能够学习连接科学与技术的表征，我们提出了 PatRepEval 基准，其中包含一组面向科学与技术交叉领域的专利相关文本嵌入任务。模型在涵盖论文和专利的多种分类、回归和检索任务中的表现，凸显了使编码器模型表征与其下游任务的领域分布相匹配的重要性；同时，保持时间一致性的编码器能够达到或超过在无时间约束条件下训练的模型的表现。