ASH：在长时域世界中自我精进的智能体

arXiv:2605.14211v5 公告类型：替换交叉版本 摘要：长时域视觉运动任务仍然是人工智能领域的一项根本性挑战，因为当前方法依赖手工设计的奖励或带动作标签的示范，而这两者都难以扩展。我们提出了 ASH，这是一种智能体系统，能够从无标签、含噪的互联网视频中学习长时域策略，无需奖励塑形或专家标注。ASH 遵循自我改进循环：当陷入困境时，ASH 会从自身轨迹中学习逆向动力学模型（IDM），并利用其 IDM 从相关互联网视频中提取监督信号。ASH 使用无监督学习从大规模互联网视频中识别关键时刻，并将其保留为长期记忆，从而能够处理长时域问题。我们在两个互补的环境中评估了 ASH，这些环境都要求进行数小时的规划：Pokemon Emerald，一款回合制 RPG；以及 The Legend of Zelda: The Minish Cap，一款实时动作冒险游戏。在这两款游戏中，行为克隆、检索增强和零样本基础模型基线的表现均陷入停滞，而 ASH 在长达 8 小时的评估过程中持续取得进展。ASH 在 Pokemon Emerald 中平均达成 11.2/12 个里程碑，在 Legend of Zelda 中平均达成 9.9/12 个里程碑；相比之下，最强基线在两个环境中均陷入困境，分别平均只能达成 9.3/12 和 7.8/12 个里程碑。我们证明，自我改进型智能体是学习长时域世界的一种可扩展方案。