FastKernels：生产环境中的 GPU 内核生成基准测试

arXiv:2605.23215v2 公告类型：替换 摘要：基于 LLM 的 GPU 内核生成代理正在快速发展，但它们所针对的基准测试是在隔离环境中评估内核，使用合成输入和较弱的基线，从而奖励那些在沙箱中实现加速、却在真实推理系统中失效或消失的方案。我们推出 FastKernels，这是一个包含 384 个任务的基准测试，任务源自 8 个类别中的 47 种代表性架构；这些内核足以重新实现 HuggingFace Transformers 中 94.6%（472/499）的架构，且输出与原生实现一致。每个任务都模拟相应生产模块的接口，并与生产框架所提供的内核进行比较；同时，任务构成一个从基础算子到完整模型的组合层级结构，高层模块会导入低层模块。候选方案既在内核层面进行评分，也在其所属模型内部、沿生产执行路径进行端到端评分；MacroEval 将经过校准的正确性、覆盖率和加速比汇总为排行榜。我们使用五个具有代表性的代理为其提供初始测试（共 6,900 个代理小时），发现内核层面的 1.6–6.6 倍加速在端到端评估中缩减至最多 1.25 倍；获胜的内核集合中只有 20% 能够直接正确运行；此外，内核层面的得分会错误地对代理进行排序：Claude Code 在单独评估的每个层级都能追平或超过 KDA，但端到端得分却是 KDA 的 3 倍。代码见 https://github.com/Snowflake-AI-Research/fastkernels。