MoganBert-TR：使用 CLM-to-MLM 课程从零开始训练的土耳其语编码器基础模型

土耳其语编码器模型已经采用了现代架构，但预训练目标仍固定为掩码语言建模。本文介绍 MoganBert-TR，一个参数量为 149M 的土耳其语编码器基础模型，它在经过语言特定过滤的语料库上从零开始训练，同时还衍生出一个嵌入模型（MoganBert-Embed）。 MoganBert-TR 在 237.3B 个 token 上采用两阶段 CLM-to-MLM 课程进行训练：先进行因果语言建模，剩余阶段再进行掩码语言建模，并且在 WSD 调度的稳定阶段内完成切换。在相同步数预算下的受控消融实验中，这一设计在土耳其语 MS MARCO 检索任务上比纯 MLM 高出 2.7-3.7 倍；测得的机制体现在嵌入几何结构上，即在纯 MLM 下，单一方向吸收了 28.1% 的方差，而在该课程下仅为 11.9%。随后，将长上下文扩展和学习率衰减在共享前缀之后拆分为两个分支：在 1024 上下文下运行衰减的最后一部分，使 TrGLUE 平均分在五组配对随机种子下提升 0.49 +/- 0.26 分（p = 0.013），并以约 4.3% 的额外成本，比一种 model-soup 方案高出 0.75 分。 MoganBert-TR 在 TrGLUE 上取得 78.41 分，在所比较的土耳其语 ModernBERT 模型中最佳；在 TabiBench 上取得 77.73 分，在八个类别中有两个类别领先，并且在代码检索上优势最大（比 TabiBERT 高 3.62 分）。MoganBert-Embed 通过教师蒸馏和多信号对比微调生成，在 MTEB(Turkish) 总体平均分上位列学生模型第一，达到 68.30 分，并且在主干网络小 51 倍的情况下，实现了其 7.57B 参数教师模型得分的 99.5%。配套的 50,048-token 分词器在两个独立测试集上的压缩率和词元繁衍率方面均优于所有对比的土耳其语分词器。权重、分词器、嵌入模型和评测代码：https://huggingface.co/moganai