平衡记忆路径：分析并改进混合 LM 中的记忆利用

交错使用注意力层和循环层的循环-注意力混合语言模型（LM）正得到越来越广泛的应用，以结合循环层的高效率与注意力层的强大性能。先前的研究表明，注意力层和循环层提供了利用过去信息的互补路径：注意力支持从较早的词元中精确回忆记忆，而循环层支持在长上下文中整合分散的信息。然而，我们观察到，仅仅能够访问这两条路径，并不意味着混合 LM 能够有效地利用它们。我们发现，混合 LM 对注意力的依赖程度明显高于对循环状态的依赖程度。标准的监督微调虽然提升了整体性能，却没有改善两条记忆路径之间的协调：模型变得更加依赖由注意力层传播的信息，而对由循环层传播的信息的利用仍然有限。为促进两条记忆路径之间更好的协调，我们加入了一项辅助损失，限制注意力访问较早的上下文，同时允许循环状态贯穿整个序列进行传播。该目标促使模型在利用注意力的同时，通过循环路径保留并使用信息。它提升了整体性能，尤其是在涉及更长上下文或要求进行信息聚合的任务上取得了显著增益，这与分析中观察到的循环层优势相一致。更重要的是，这种不平衡现象以及辅助损失带来的收益具有良好的泛化性：它们不仅适用于问答任务和智能体任务中的多个循环-注意力 LM，也适用于结合不同记忆形式的基于注意力的 LM。总体而言，我们的研究结果表明，仅仅提供多条记忆路径并不能确保它们得到有效利用，还需要有针对性的监督来更好地协调这些路径。