洁净的工程，不稳定的测量：Black-Box LLM Observers 在共享端点上的一次预注册可靠性失败

语言模型评审器如今把关训练数据、为生成结果打分，并推动排行榜。因此，评审器就是一种测量仪器，它依赖于一个很少被明说的假设：同一个请求，发送到同一个模型名称，明天读数仍然相同。我们在两轮预注册活动中审计了这一假设，所有阈值都事先固定；两轮都未能通过对其测量仪器的验证。在 52,988 次经审计的请求尝试中，同一时间窗口内的重复排名一致性为 Spearman 0.400，低于要求的 0.90；字节完全相同的次日重放一致性为 0.78，低于要求的 0.99，而每次执行记录都达到上限。三个机制解释了这一差距：标签到含义的映射对读数产生的偏置与信号本身一样强；候选项之间的差距比仪器自身的噪声底低七个数量级；以及字节完全相同的输入会返回不同排名，这种噪声会被精确排列读数进一步放大。在测试网格上，无论替换指标还是采样都未能修复这一问题。预注册的后续实验界定了问题边界：在采样的那些天里，等待没有帮助（0.805 对 0.800，并在之后五天进一步复现）；切换提供商没有帮助（四家提供商共享这一下限，中位数为 0.74 到 0.88，且它们公开的 metadata 字段均无法预测）；在批处理不变内核上自托管只在服务器空闲时有帮助；而在具有已知差距的构造错误上，读数的区分度跟随错误类型，而非错误大小。我们将证据提炼为一个三级快照身份阶梯、八条设计规则和一份报告清单；一个调用量约为本研究 2% 的试点本可提前暴露这两个无法达到的门槛。所有结果都涉及在共享服务基础设施上的外部测量行为。在共享端点上，模型名称并不是一台冻结的仪器；预注册评估必须先测量其仪器，然后才能在其上冻结任何门槛。