State Stream Transformer (SST) V2：用于潜在空间推理的非线性递归并行训练

arXiv:2605.00206v2 公告类型：替换 摘要：当前的 Transformer 会丢弃位置之间丰富的潜在残差流，在每个新位置重新构建潜在推理上下文，从而未能充分利用潜在的推理能力。State Stream Transformer (SST) V2 通过在每个解码器层中采用由 FFN 驱动的非线性递归，实现了连续潜在空间中的参数高效推理；其中，潜在状态通过学习得到的混合机制，沿整个序列横向传递。该机制还支持在推理时针对每个位置进行连续的潜在思考，在确定输出某个 token 之前投入额外的 FLOPs 来探索抽象推理过程。一个两遍式并行训练过程对顺序递归进行近似，使联合训练在计算上切实可行。隐藏状态分析表明，状态流通过连续潜在空间中尖锐且依赖内容的重组来促进推理；LM head 通过输出分布显现由此产生的潜在信念状态，而状态流则将这些状态向前传递，以影响后续位置。一个经过训练的探针显示，在第一个生成 token 时，潜在状态就已经能够预测：对于后续每个位置，在进行额外潜在计算后，最终答案是否会保持正确或出错。研究者仅使用少量 GSM8K 样例数据，将该模型联合训练到一个现有的 27B 骨干模型中，并使用 oracle 将每个问题路由到每个 token 一至四次递归前向传递的深度。在分布外 GPQA-Diamond 评测中，SST 达到了 61.11% 的架构容量上限，比与其微调设置匹配的基线高出 15.15 个百分点，并使该基线在 GSM8K 上剩余的错误减少了 46%。总体而言，这些结果提供了一种高效训练非线性递归的方法，并表明，与训练设置相同的其他 Transformer 相比，状态流能够提供额外的推理能力。