走向正确实现的循环模型，第一部分：拓扑结构、输入注入、循环状态设计

arXiv:2610.23036v1 公告类型：new 摘要：循环语言模型在逻辑深度上复用物理 Transformer 模块，但现有架构将循环位置、输入注入和循环状态组织混杂在一起。我们在参数规模、逻辑深度和 token 预算相匹配的条件下，从头训练模型，分别考察这些设计维度；随后测试由此得到的设计原则能否迁移到常驻参数量和激活参数量均相匹配的 Mixture-of-Experts（MoE）模型中。前置模块—循环模块—后置模块的夹心架构在上下文提取和高强度推理任务上始终能够提升性能。输入注入主要增强知识检索和上下文利用，而随机初始化以及分离的 H/L 循环状态带来的收益则不稳定，甚至为负。综合来看，这些结果更支持 Huginn 风格的设计：在 730M 参数、336B token 的规模下，完整的 Huginn 架构在全部十项基准测试中均优于 Ouro。Huginn 相对于 Ouro 的优势也能迁移到 MoE 模型中。在 8BA0.8B（展开后为 32BA3B）的规模下、使用 500B token 训练时，Huginn 在涵盖知识、推理和编码的几乎所有基准测试中都优于 Ouro，同时展现出更加均衡的专家路由。在训练和推理 FLOPs 相匹配的条件下，Huginn 风格模型所使用的常驻参数量比一个 112 层前馈式 MoE 基线少 75%。尽管物理参数量更小，它在 DROP 和 GSM8K 上优于该前馈式基线，在 MATH500 上与其持平，并在其他基准测试中保持竞争力。