MiST：用于网络安全的中期训练 LLM

网络安全融合了高风险分析与复杂的技术语言，使其成为对 LLM 而言影响重大且颇具挑战性的领域。我们提出 MiST（Mid-trained Security Transformer），这是一套包含 8B 和 32B 模型的模型系列，在公开网络安全基准测试中取得了出色表现。我们将中期训练用作通用预训练与网络安全训练之间的中间适配阶段。我们没有在海量原始领域文本上进行持续预训练，而是整理出一份规模紧凑、经专家审核的种子语料库，并将其转化为高质量的领域特定合成训练数据。最终的 MiST 检查点模型相较于对应的 Qwen 基线，在 8B 和 32B 模型上的网络安全平均准确率分别提升了绝对值 13.1 和 8.6 个百分点，对应的相对增益分别为 27.0% 和 15.8%。消融实验结果进一步表明，这些网络安全能力的提升源于中期训练和监督微调阶段合成数据生成流程的协同作用。此外，我们还表明，MiST 能够为下游特定任务的微调适配与强化学习提供更强的初始化。