目标发生了什么？目标误泛化中策略对齐的不同失效形式

arXiv:2610.19731v1 公告类型：新提交 摘要：目标误泛化是一种常见的失效模式，其中智能体在分布外仍表现出良好的能力，却不追求预期目标。然而，我们对发生误泛化的智能体中预期目标的变化仍缺乏深入理解。在三个 Procgen 环境和五项机器人任务中，我们发现了三种不同形式的策略与目标失配：（1）功能性目标替代，即行为遵循另一个目标；（2）策略捷径，即行为遵循习得的动作策略；（3）预期目标线索与代理目标线索之间的线索竞争。我们通过追踪目标信息在内部哪些位置仍然可用、对策略的影响有多强，以及在动作选择中发挥何种作用，来区分这些情形，并发现目标在不同深度丢失。当目标信息能够传递到决策环节时，例如在线索竞争中，引导干预可将策略重新导向目标位置，使预期目标到达率从 16.0% 提升至 95.3%。当目标信息能够传递到策略、却无法传递到决策环节时，只有建立新的下游连接才能恢复目标到达能力；在存在动作捷径的环境中，这使目标到达率从 31.6% 提升至 84.3%。当目标信息不起作用时，两种方法均无效。我们的结果表明，目标误泛化并非单一的目标表征失效，而是发生在不同深度的、各不相同的策略对齐失效，且与何种恢复方法有效密切相关。