将历史压缩到记忆中：将 Transformers 蒸馏为 Recurrent Transformers

arXiv:2606.21562v2 公告类型：replace-cross 摘要：Transformers 是 AI 的主力工具，但在处理长序列时，其计算成本会变得难以承受。我们针对长时域流式视觉和机器人应用，在这些场景中，存储和维护观测历史尤其不切实际。Recurrent Transformers 通过维护固定大小的记忆来应对这一限制，但其性能落后于基于完整观测历史运行的 Transformers。我们认为，这种差距并非源于架构限制，而是源于这些模型学习压缩过去信息的方式不同。在无法访问观测历史的情况下，循环模型必须在每一步明确决定在记忆中保留哪些信息，这使得学习问题困难得多。在这项工作中，我们提出一种蒸馏方法，将经典完整历史 Transformer 的压缩策略迁移到循环变体中。为此，我们设计了一个教师模型，将其观测历史显式压缩为固定大小的瓶颈表示，并利用该瓶颈表示直接监督学生模型的记忆，从而有效对齐两种压缩机制。我们表明，该方法能够在 Mem-RPE 任务上以线性时间复杂度训练循环潜在机器人记忆，同时大幅缩小其与完整历史 Transformers 之间的性能差距。此外，我们还在流式视觉问答（VQA）上验证了同一原则，并观察到记忆蒸馏带来了更好的循环预测性能