目标发生了什么变化？目标错误泛化中策略对齐的不同失效形式

目标错误泛化是一种常见的失效模式：智能体在分布外仍能表现出良好的能力，却不再追求预期目标。然而，我们对于发生错误泛化的智能体中预期目标究竟发生了什么变化，仍缺乏深入理解。通过研究三个 Procgen 环境和五项机器人任务，我们发现了三种不同的策略与目标不对齐形式：（1）功能性目标替代，即行为遵循另一个目标；（2）策略捷径，即行为遵循习得的动作策略；（3）预期目标线索与代理目标线索之间的线索竞争。我们通过追踪目标信息在内部哪些位置仍然可用、它对策略的影响有多强，以及它在动作选择中发挥什么作用，来区分这些情况，并发现目标会在不同深度丢失。当目标信息能够传递至决策环节时，如在线索竞争中，引导干预可使策略转向目标所在位置，将预期目标到达率从 16.0% 提高至 95.3%。当目标信息能够传递至策略但无法进入决策环节时，只有建立新的下游连接才能恢复目标到达能力；在存在动作捷径的环境中，目标到达率由此从 31.6% 提高至 84.3%。当目标信息不起作用时，这两种方法均无效。我们的结果表明，目标错误泛化并非目标表征的单一失效，而是在不同深度发生的不同策略对齐失效，并且与哪种恢复方法有效密切相关。