arXiv cs.LG精选76

可读不等于可控:学习所得流体表征中物理结构的预注册检验

Readable Is Not Steerable: Pre-Registered Tests of Physical Structure in Learned Fluid Representations

· 1小时前

精选理由

揭示流体模型中“能读出”不等于“能操控”,为评估潜变量的物理意义提供预注册证据与方法。

AI 摘要

arXiv:2611.05577v1 公告类型:新论文 摘要:人们常称,自监督世界模型会围绕物理量组织其潜在表征。我们通过三项预注册研究,在二维衰减 Navier-Stokes 流动上检验这一说法,每项研究均只在留出数据上测试一次。在研究 1 中,经过流动预测训练的联合嵌入预测架构(JEPA)未能达到预注册标准,即其围绕流体物理量组织潜在表征的能力并不优于同架构的未训练网络(未获支持);在非物理线性动力学上训练的 JEPA,以及从未接触时间信息的静态不变性模型,表现与之相当或更好。在研究 2 中,重建流场的普通自编码器使涡量平方积分在其变化最慢的无监督潜在方向上表现突出(最佳 r 为 0.80–0.86,未训练模型为 0.38;使用新随机种子和封存数据)。加入 VICReg 后,这种突出程度在每项比较中均有所降低,但对涡量而言,降幅未达到预注册阈值;与此同时,自编码器的线性可解码性有所提升(部分获支持)。在研究 3 中,我们通过信息路由构建可控方向(“旋钮”):解码器只能通过一个小型条件编码获取整体尺度信息,而另一条通路则传递频谱形状的退化副本。无标签规则在全部 8 个已训练模型中都找到了响度旋钮;在封存数据上,5 个新随机种子中有 3 个找到了形状旋钮,未达到预注册的 4 个这一门槛;两个对照均未显示出形状旋钮(部分获支持)。这些研究表明,潜在表征包含什么信息,与通过它能够控制什么,是两回事。在探索性实验中,一个几乎能完美读出频谱形状的监督方向,在沿该方向进行调控时却未引起任何变化。在构建过程中,必须根据响度旋钮对输出的影响(最接近纯粹的缩放)来寻找它,而不能依据数据方差;对于形状,基于方差的规则和受效应约束的规则均在 5 个随机种子中的 3 个上奏效。整个研究计划在一块消费级 GPU 上使用了约 70 小时的已记录算力;所有预注册方案、偏离记录、代码和输出均已公开。

查看原文(arXiv cs.LG)