自然情境游戏过程中视觉语言模型与动作模型的推理和动作表征与大脑的对齐

arXiv:2605.19352v2 公告类型：替换交叉投稿 摘要：理解人类和人工智能系统如何通过与环境交互来进行预测和规划，是神经科学与机器学习交叉领域的一项根本性挑战。大多数大脑编码研究侧重于将人工模型与语言理解或被动视觉处理过程中的大脑活动对齐，而迄今为止，交互情境下的大脑对齐研究主要局限于强化学习（RL）智能体和基于理论的模型。为填补这一空白，我们利用参与者玩自然情境下 Atari 风格电子游戏时的 fMRI 记录，研究两类基础模型中的代表性模型与大脑的对齐情况，即视觉语言模型（VLMs）和大型动作模型（LAMs）。具体而言，我们考察侧重动作和侧重推理的提示如何塑造模型的内部表征，以及这些表征与 fMRI 大脑活动的对齐。首先，我们发现，VLMs 和 LAMs 的逐体素编码性能均显著高于 RL 基线，即使在特征维度匹配的条件下，这一优势依然存在。其次，与无提示基线相比，提示带来的性能提升在高阶额顶区域和运动规划区域中大于初级视觉皮层；按感兴趣区域（ROI）组取平均后，前者的提升幅度约为后者的 2–2.5 倍，不过各个区域之间存在异质性。第三，方差分解揭示了性质不同的表征组织方式。VLM 表征呈现提示对称性（动作独有解释方差为 12.4%，推理独有解释方差为 9.5%），而 LAM 表征则以动作为主导（动作独有解释方差为 25.6%，推理独有解释方差为 -8.2%），且这种不对称性在额叶运动皮层中最强。总体而言，这些结果将动作专门化与多模态游戏状态表征中不同的皮层对齐模式联系起来，揭示了相似预测准确率所掩盖的差异。