超越 CLIP：利用系统一决策模型进行经校准的（少样本）缺陷检测

摄像头和视觉传感器广泛用于制造环境中的产品和过程检验。传统上，这一过程需要数千张正常产品和缺陷产品的图像来训练此类模型。近期研究表明，CLIP 等视觉 Transformer（ViT）模型可将这一需求降低至正常类别和缺陷类别各 50–100 张图像。然而，在高良率或小批量制造过程中，即使收集 50 张缺陷图像也可能很困难。本文考察了近期提出的两种结构化决策模型（Jev 和 Clef-Flash）在推理时每类仅使用 k=2 张参考图像的应用中的实用性。在此过程中，我们作出了三项主要贡献：（a）提出面向图像分类与检验应用的此类模型的 k 样本学习框架；（b）提出一种基于智能体的方法，自动优化这些决策模型中用于引导图像分类的文本描述；（c）提出一种方法，对模型输出的缺陷概率进行校准，以提高其用于检验决策的可靠性。我们在五个制造业案例研究中检验了这些贡献。在每类使用两张参考图像时，Jev 和 Clef-Flash 的测试准确率均优于使用相同参考图像的 CLIP（Jev 为 0.75–1.00，Clef-Flash 为 0.71–0.99，而 CLIP 为 0.67–0.84）。此外，我们表明，基于智能体的文本描述优化在 8 种模型与应用组合中的 6 种上显著提高了准确率，而我们的校准方法在 15 种模型与应用配置中的 13 种上降低了 Brier 分数。为支持本研究的可复现性，我们提供了复现代码，并创建了 R 软件包 decisions，用于评估其他模型。我们还提供了一个公开可用的 Web 应用，使从业者无需编写代码即可检验自己的图像。