arXiv cs.AI精选78

滞后耦合:内部表征在成为因果之前先变得可读

Lagged Coupling: Internal Representations Become Readable Before They Become Causal

· 42天前

精选理由

提醒读者:探针可读不等于可控,表征常先于因果写入。

AI 摘要

在整个 Pythia 套件(160M-12B,八个检查点,四类任务)中,线性探针最早可在第 1,000 步就从残差流中读出目标变量,且在所有尺度上皆如此——然而,沿着同一读取方向进行引导,在 48 个模型-检查点单元中的 43 个里与零效应等价。内部可读性始终系统性地快于因果效力,而且这种滞后并不会随尺度增大而缩小。我们将这种结构称为滞后耦合,并将其分解为三个可分离的轨道:(i)内部可读性,从第一个检查点起在各处都已饱和(AUROC >= 0.990);(ii)行为可读性,随着尺度增大而逐步、且更晚地形成(12B 直到最后一个检查点才达到 0.909);(iii)因果效力,几乎总是与零效应等价,偶尔在早期呈反效果,只有一个孤立的正向脉冲(12B,第 8,000 步,z = +2.49),而我们的网格无法分辨。其顺序主要是先读后写(11/11 个单元,没有反转)。沿探针方向的表征余量随训练和尺度增长最高可达 57 倍,而因果写入始终低于余量的 0.11%——该变量正越来越多地被写入表征中,同时又越来越被读出端忽略。在完全预注册的方案下,两种单一起始假说都得到 INDETERMINATE 结果(尺度斜率 +0.24,95% CI [-0.60, +0.87];时间投票 3:3)——这一经严格定义的负结果可由三轨分解解释。预注册的 OLMo-2 复现保留了该方向,但幅度有所减弱。我们的结果提醒人们,不要仅凭 probe 准确率就推断可操控性,并确立了一个发展瓶颈:表征形成可靠地快于因果读出巩固。

查看原文(arXiv cs.AI)