跃进之前先循环：在数据受限的预训练中，循环深度能带来什么，又不能带来什么

arXiv:2611.06206v1 公告类型：交叉收录 摘要：在 BabyLM Challenge 中，多模态模型的得分往往低于纯文本基线（Klerings 等，2024；Takmaz 等，2025）。我们检验了额外的循环计算是否有助于缩小这一差距。循环通过复用层来增加计算量，而不增加参数或训练数据。我们基于同一套实现，在 1 亿词的预算下比较标准 Transformer 与循环 Transformer，每个主要实验条件使用三个随机种子。每张图像由冻结的 DINOv2 编码器生成的一个特征向量表示，并用作前缀词元。图像描述中的词也计入预算，因此多模态训练还会改变语言数据。在预注册的纯文本比较中，当推理计算量相同时，将一个 12 层堆栈重复四次的模型，其 BLiMP 准确率比标准 48 层 Transformer 高出 5.4 个百分点。然而，多模态训练使两种架构的 BLiMP 准确率均下降约 3.8 个百分点，循环并未明显缓解这一下降。一个采用多模态语言数据和批处理安排进行训练的探索性循环架构无图像对照模型，其得分比纯文本基线低 5.7 个百分点。添加视觉前缀后，准确率平均提高 1.85 个百分点，但仅使用三个随机种子，这一对比结果仍存在不确定性。这些结果表明，语言数据及其呈现方式的变化是性能下降的主要原因。诊断测试显示，模型确实使用了视觉信息；但在这种单向量接口下，视觉信息对语法泛化的贡献仍不确定。