arXiv cs.LG精选80

反事实动作评估、观测瓶颈与联合嵌入预测世界模型中的表征几何

Counterfactual Action Evaluation, Observation Bottlenecks, and Representation Geometry in Joint-Embedding Predictive World Models

· 9天前

精选理由

提出反事实评估框架,分离观测瓶颈与动作依赖,揭示世界模型的真实物理辨识能力。

AI 摘要

arXiv:2610.02860v1 公告类型:新 摘要:较低的潜变量预测误差并不能证明世界模型能够区分其动作所带来的后果。我们提出一种评估协议,沿着模拟器状态、栅格观测、目标嵌入和预测器输出,追踪同一干预的影响。在受控的可变形物理测试平台中,对模拟器状态进行精确分叉揭示了不同的瓶颈。改变的指令会改变粒子运动,但有41.5%的一步栅格观测对完全相同。观测损失并非全部原因:在579个高可见性的反事实样本中,两个随机种子下,预测器相对于目标的响应中位数分别为0.0051和0.0217;经过方差归一化后,分别降至0.0027和0.0116。与目标反事实嵌入偏移相匹配的各向同性状态扰动,在相同的可见样本对上引发的预测器变化分别大190倍和53倍,从而将问题定位为动作路径利用不足,而非预测器失活或整体收缩。仅使用MSE训练时,在匹配的随机种子下,10步潜变量误差低8.36倍,但其所在空间的频谱高度集中;一个VICReg目标编码器也具有很强的集中性,因此,仅凭误差或秩都无法证明表征对应物理状态。最后,即使使用全分辨率栅格和机械状态,刚度识别仍接近随机水平,而特权材料参数却能被完美解码,这表明在当前激励下可辨识性较弱,而非编码器丢弃了相关信息。这些结果表明,应分别审查物理效应、观测可见性、表征几何结构和动作依赖性。

查看原文(arXiv cs.LG)