单一判定还不够:对学习得到的世界模型及其测试框架进行回归测试
One Verdict Is Not Enough: Regression Testing Learned World Models and Their Test Harnesses
精选理由
提出四配置回归测试协议,揭示准确率难以发现的模型与测试框架错误,助力可靠评估世界模型更新。
AI 摘要
学习得到的世界模型作为软件组件交付,其模型版本、预处理流程和测试框架会随版本发布而变化。现有模型更新研究已开始统计准确率检查所掩盖的逐样本回归,即负向翻转。但仍有两个问题:同一测试可能在一种配置下通过,却在另一种配置下失败;测试框架故障也可能在不引发崩溃的情况下产生错误评分和错误判定。我们提出 TetraState,一种针对成对的可能/不可能视频测试的回归测试协议。每项测试均在四种固定的模型原生配置下运行,并根据正确判定的数量归入四类结果之一。无法得出结论的测试和执行失败的测试单独报告,同时报告判定率。不同修订版本通过逐项测试的结果类别转变进行比较,测试框架也作为被测系统的一部分纳入版本管理。在全部 506 项 IntPhys 2 Main 测试及 Cosmos 3 Nano 和 V-JEPA 2 两个异构系统上的实验表明,V-JEPA 2 测试框架的两次修订仅使众数判定准确率分别变化了 0.2 和 2.6 个百分点,却分别改变了 11 项和 214 项测试的标签;在第二次修订中,尽管得到正确判定的测试更少,准确率却有所上升,而且有 43 项回归的众数判定保持不变,因此基于众数判定翻转的检查会漏掉它们。这些结果勾勒出了一项研究议程,即面向学习型组件的配置级回归测试判定准则研究。