记忆还是时钟？分离种子、地图与评估噪声，审查 XLand-MiniGrid 中的记忆优势

在一项部分可观测的 XLand-MiniGrid 任务中，LSTM 智能体的表现比无记忆 MLP 高出 25 个百分点。这一差距看起来明确体现了记忆的作用。我们对此提出两个问题。首先，测得的差距中有多少来自噪声？我们进行了 60 次运行，每次重新评估三遍，并分离训练种子、地图和评估随机性的影响，发现约十组成对种子即可检测出最终成功率上 10 个百分点的差距。而常用于概括学习曲线的“是否掌握任务”二元判定，其变异有 76% 来自评估噪声，要检测出同样的差距则需要约一百个种子。其次，这一差距是否源于记忆？在一组封存且仅启用一次的新地图上，当获得时间步信息时，一个与 LSTM 规模相同的无记忆 MLP 与 LSTM 的差距缩小至 3.3 个百分点以内；而在没有时间步信息时，增加其宽度并未带来可测得的收益。在提供时间步信息的情况下，一个规模仅为 LSTM 四分之一的 MLP，以及一个每一步都清除状态的 LSTM，与原 LSTM 的差距也都在约 5 个百分点以内。线性探针能够从训练后的 LSTM 状态中读出时间步。在这项任务中，表面上的记忆优势大部分其实是知晓时间的优势；时间之所以重要，是因为回合会在固定时限处截断，且奖励会随时间递减。我们建议向无记忆基线提供时间步信息，并公开了实验协议、事件驱动工具和所有检查点。