D2K-Bench：LLM 智能体能否将专家设计转化为高效 GPU 内核？

大型语言模型（LLM）智能体生成的 GPU 内核可能仍不如专家实现高效，但仅凭运行时性能无法揭示这一差距与设计发现和实现之间的关系。我们推出 D2K-Bench，这是一个包含 26 个任务和 85 个工作负载的诊断基准，用于衡量智能体将专家设计指导转化为高效 GPU 内核的能力。该指导涵盖 L1：高层次算法洞见，L2：数据流设计，以及 L3：底层优化技巧，并包括这些层级之间的依赖关系。在有无指导的成对运行中，任务描述、工作负载、工具、硬件和 350 轮预算均保持一致。补充评估还考察了独立提出的设计，以及生成代码中实际实现的设计属性。在 NVIDIA B200 GPU 上对五个模型进行测试后发现，指导使 130 多个模型-任务组合的正确率从 93.1% 提升至 98.5%，并使全部 26 个任务的 Performance Score 从 1.46 提升至 1.95。对于在两种运行中均在全部 26 个任务上提交正确结果的三个前沿模型（GPT-6-Astra、Claude-Opus-4.8 和 GPT-5.6-Sol），几何平均加速比从 $1.69\times$ 提升至 $2.49\times$。在全部五个模型上，综合实现得分均值从 100 分中的 57 分提升至 70 分。这些结果表明专家设计指导具有重要价值，同时也揭示出一些仍未被实现的设计属性。