D2K-Bench：LLM Agents 能否将专家设计转化为高效的 GPU 内核？

arXiv:2610.03226v1 公告类型：new 摘要：大型语言模型（LLM）代理生成的 GPU 内核，其效率可能仍低于专家实现，但仅凭运行时间无法揭示这一差距与设计发现和实现之间的关系。我们推出 D2K-Bench，这是一个包含 26 项任务和 85 个工作负载的诊断基准，用于衡量代理将专家设计指导转化为高效 GPU 内核的能力。设计指导涵盖 L1：高层次算法洞见，L2：数据流设计，以及 L3：低层次优化技巧，同时还包括这些层级之间的依赖关系。在成对运行的对照实验中，有无设计指导的两组实验共享任务描述、工作负载、工具、硬件和 350 轮的预算。补充评估则考察独立提出的设计，以及生成代码中实现的设计属性。在 NVIDIA B200 GPU 上对五个模型进行测试后发现，设计指导使 130 个以上模型—任务组合的正确率从 93.1% 提升至 98.5%，并使全部 26 项任务的性能分数从 1.46 提升至 1.95。对于在两组实验中均在全部 26 项任务上提交正确结果的三个前沿模型（GPT-6-Astra、Claude-Opus-4.8 和 GPT-5.6-Sol），几何平均加速比从 $1.69\times$ 提升至 $2.49\times$。在全部五个模型中，平均综合实现得分从 100 分中的 57 分提升至 70 分。这些结果表明，专家设计指导具有重要价值，同时也揭示出一些尚未得到实现的设计属性。