删失评分量表上的差分中的差分可能制造出效应：来自预注册 LLM 评判器审计的证据

对 LLM 评判器的审计通过对比匹配条件来确认偏差，而最强的设计会进行两次差分：先在同一项目内对两个候选回答进行对比，再跨一个被操纵的属性再次求差分，并从有界评分量表上读出结果。我们表明，这个终点在其报告所用的量表上并不可识别。双重差分的每一项都受到各自比例的删失，因此观测到的统计量混淆了差异性偏好与差异性衰减：当两个回答受到不等程度的删失时，一个对二者共同的严重性偏移就会制造出交互作用，因为它们与边界的距离不相等，而优质刺激恰恰会使它们处于这种位置。我们在一项针对冻结的教学法评判器的预注册审计中展示了这一失效，该审计在其 990 次调用中的第一次调用之前即已封存。注册的主要终点，即所陈述的学习者画像对评判器支架式教学偏好的影响，为零：$+0.085$ 分（95\% BCa $[-0.167, +0.353]$，$p = 0.684$）。该审计中唯一名义上显著的交互作用 $+0.378$（$p = 0.002$）并不能被识别为偏好：一个包含零差异性偏好的构造，仅凭观测到的严重性偏移和量表下限，就能再现其中的 79% 至 85%。我们以闭式形式推导了这一机制，并表明其贡献可以从审计自身的评分中测量出来。