TuringLLM：高效扩展基础模型以迈向 Physical AI

我们提出 Turing-20B-A2B，这是一种拥有 20B 参数的混合专家语言模型，每个 token 约激活 2B 参数，面向长上下文和对延迟敏感的物理 AI 应用设计。该模型在动态 top-k 配置下采用 Quantile Routing，实现 token 自适应的专家分配，同时保持专家利用均衡和受控的平均计算预算。在部署阶段，我们进一步将容量约束路由应用于提示预填充，以实现更规整且高效的专家执行，而在预训练期间则保留 dropless routing。Turing-20B-A2B 还采用了混合注意力架构，将 Lightning Attention 与少量全注意力层相结合，以实现高效的长上下文建模。该模型通过渐进式三阶段课程进行预训练，并通过继续预训练将原生上下文长度扩展到 128K，随后又使用 YaRN 在推理时进一步扩展到 512K。尽管其激活参数预算较为紧凑，Turing-20B-A2B 在基础模型阶段的整体通用能力超过 Qwen3-8B Base，并接近 Qwen3.5-9B Base，同时保持了强劲的长上下文表现和良好的 prefill 延迟扩展性。这些结果表明，该模型在模型能力、长上下文可扩展性和实际推理效率之间实现了有效平衡。