FuzzInsight：探索覆盖率引导的 DNN 模糊测试中效率与有效性之间的权衡

收集并标注用于评估深度神经网络（DNNs）的多样化测试数据集成本高昂且耗时。这促使人们采用覆盖率引导的模糊测试技术，从有限的测试数据中生成能够揭示缺陷的边界案例。然而，这些技术的有效性高度依赖于配置选择，尤其是覆盖率标准和种子选择策略。我们针对可扩展 DNN 模糊测试中的两个瓶颈——种子利用效率低下和覆盖率引导成本高昂——开展了面向配置的分析，并提出了决策指南。分析表明，现有的种子选择策略会反复优先选择一小部分输入，导致许多已收集的种子未得到探索。为解决这一问题，我们提出了 Equalized Sampling，一种基于约束的策略，可将平均种子队列利用率提升至 77%，较以往方法提高 13 个百分点。我们进一步在四个基准数据集 MNIST、SVHN、GTSRB 和 CIFAR-100 上评估了 84 种模糊测试配置。结果表明，非结构化标准 LSCD、LSC 和 MDSC 能够取得与结构化标准及其他非结构化标准相当的覆盖效果，同时所需计算量显著更低。这些标准还能够促进对被测 DNN 行为的广泛探索，从而减少监控多个覆盖率指标的需求。其中，LSCD 在运行时间方面带来了幅度不大但稳定的优势。最后，我们表明，使用生成的边界案例进行再训练，能够在不降低原始测试分布上的性能的情况下，使泛化鲁棒性平均提升最多 77 个百分点。总体而言，这些发现为选择兼顾效率、行为探索和模型强化的模糊测试配置提供了实用方案。