从历史动作轨迹中学习技能：用于 World Action Models 的 Action Experience Dictionary

World Action Models（WAMs）将视觉动力学预测与动作生成相结合，但并未明确支持在不同操作任务之间复用动作经验。此外，现有 WAMs 难以捕捉能够指导目标动作预测的跨任务底层语义关系，因为冗余的背景元素会干扰关键信息的视觉提取。为应对这些挑战，我们提出了一种新颖的 Action Experience Dictionary（AED），将历史物理动作轨迹编码为共享动作嵌入，以支持技能复用并建模跨任务关系。具体而言，我们首先聚合历史动作，使其与视觉观测对齐，并使用预训练动作分词器从 AED 中检索动作嵌入。随后，我们通过交叉注意力对池化后的嵌入进行视觉条件化，并将其置于噪声动作 token 的前面，为预测提供交互上下文和动作意图。为建模与动作相关的运动并减少对无关背景线索的依赖，我们引入了一种运动感知转移损失，在随机时间间隔上监督视觉特征变化预测。在仿真基准以及真实世界跨具身设置上的实验验证了 AED 的有效性。匿名项目网站见 \href{https://github.com/JiahuaDong/AED}{AED}。