ZonoGPT：迈向用于验证大型 GPT 模型的抽象域

arXiv:2609.34457v2 公告类型：替换 摘要：基于 Transformer 的模型广泛应用于推理、编程和多模态智能体任务。为对鲁棒性、安全性和公平性等期望行为提供形式化保障，神经网络验证技术会证明所需属性，并在部署前提供可审计的保证。然而，现有工作仍局限于小型或受限的 Transformer，且在深层模型中保持精度仍面临挑战。在本研究中，我们提出 ZonoGpt，一种用于验证大型 Transformer 的抽象域，其空间复杂度与网络深度无关。ZonoGpt 使用结构化带状多面体和生成元约简机制来高效保留相关性。为保持精度，它针对 Attention 和 LayerNorm 引入了特定于模块的融合变换，以保留特征间的关系，同时为 GELU 引入了保留生成元间关系的仿射变换。这些机制使 ZonoGpt 成为首个能够验证标准架构的方法，其可扩展至官方 HuggingFace 模型中规模达 GPT-2 Medium（24 个模块、超过 3 亿个参数）的模型，并成功验证了文本和视觉任务中的 1,339 个实例。