Library of Layers (LoL)：在运行时自适应地排列 Transformer 层

计算机程序员以不同顺序串联相同的可复用计算基元，例如条件语句或循环，来实现不同算法。相比之下，现有语言模型架构总是以相同顺序执行各层。我们提出 Library of Layers (LoL)，这是一种在推理过程中动态排列各层以解决当前问题的架构。LoL 只有一个超参数，即其全局 Transformer 模块库的大小，这使其能够在参数复用与稀疏性之间无缝过渡，并在一个统一的架构族中概括稠密架构、深度循环架构和混合专家架构在参数效率与浮点运算次数（FLOPs）效率之间的权衡。我们表明，在文本数据上进行预训练后，LoL 的性能足以与上述三种基线相媲美。在合成的数独和迷宫数据上，我们观察到，该模型采用不同的层顺序来实现不同的求解策略，而且我们可以干预路由，强制模型对某个问题实例应用特定的求解策略。在多语言自然语言场景中，我们发现 LoL 会根据语言和文字系统选择不同的层顺序模式。同样，我们使用安全性数据训练 LoL，并针对其路由器输出拟合探针，发现这些探针能够以较高的受试者工作特征曲线下面积（AUROC）区分安全文本与不安全文本。LoL 为模型动态构建自身计算图的未来提供了一条路径，从而实现更高效、更可控的推理。