评估结论究竟有多可复现？对 LLM 推断的提示结构进行自审计

LLM 系统的评估通常对少量提示集取平均，并以排名表的形式报告模型。我们以基于 LLM 的提示结构推断为案例，考察这样一张表究竟值得多大程度的信任：覆盖五个模型系列的八个开放模型变体，参数量从 8B 到 675B，禁用缓存，并持久化保存了 293 份原始中间表示。被测现象本身就不稳定。相同的调用并不能可靠地恢复出相同的结构，平均节点集 Jaccard 值在 0.39 到 0.96 之间，且 72% 的提示-模型单元从未达到节点集完全一致。对该评估进行审计后，其结论进一步削弱；这也是本文的主要贡献。在针对提示的联合簇自助法下，只有排名底部是稳固的：两个可复现性最低的模型分别在 99% 和 86% 的重复抽样中保持其排名，中间四个模型的这一比例为 27% 至 48%，排名前两位的模型则各为 68%；因此，这张表能够可靠地识别最差模型，却无法可靠地识别最佳模型。合并重复评估批次时，两条同样有理可据的规则会改变八行中的四行，并使研究整体的核心结论相差 7 个百分点。将推断出的结构与真实标注进行对照后发现，不能将可复现性视为准确性。此外，八个端点中有四个在测量后十周内被撤下，因此按本文所述方案，该研究如今已无法再运行。由此可见，小样本 LLM 评估可能显得比其证据实际支持的程度确定得多。我们建议，在报告任何排名时，同时报告排名稳定性、逐单元格溯源信息、已执行的敏感性比较、每次运行的原始输出以及测量日期。