随机递归模型

arXiv:2610.00541v1 公告类型：新 摘要：递归模型通过重复使用参数来构建计算深度，为增大模型规模提供了一种参数高效的替代方案。然而，大多数递归模型会反复应用同一个学习到的变换，或按照预先规定的变换序列进行计算，从而将计算限制在固定的层顺序内。我们提出 Random Recursive Model（RRM），该模型维护一个包含 $L$ 个学习层的层池，并通过对每个样本和每个步骤独立地、有放回地采样一个层来执行 $T$ 个递归步骤。这使得模型能够灵活地复用各层，同时保留递归结构的参数效率。我们在具有挑战性的推理任务上评估了 RRM，结果表明其性能达到或超过基线模型，同时参数量通常减少 50%–75%。RRM 可以在推理时调整深度，包括使用训练期间未见过的更大深度，而无需重新训练或增加参数，从而提升受益于更深层迭代计算的任务表现。RRM 还支持蒙特卡洛推理和概率式测试时扩展，这两者都能在无需重新训练的情况下提升性能。这些发现或将为神经网络架构设计开辟新的方向。