KaliBench：针对 Kali Linux 网络安全工具使用的细粒度基准与无需运行时的可验证奖励

LLM 越来越多地应用于网络安全工作流中，其任务是将分析人员的意图转换为工具调用。然而，现有评测主要侧重于基于知识的评估或端到端的智能体任务，并未直接衡量 LLM 生成真实网络安全工具可执行命令的能力。这一缺口至关重要，因为网络安全操作依赖严格的命令行接口（CLI），其中细微的语法错误、不正确的选项与值绑定或参数顺序错误，都可能导致命令无法执行。我们提出 KaliBench，这是一个面向 Kali Linux 自然语言到 CLI 转换的细粒度基准和数据集，包含 8,504 个查询—命令对，覆盖 23 个能力维度、5 个安全阶段中的 1,642 个工具。KaliBench 通过以手稿为依据的流程构建，并采用确定性规范化和感知别名的评估方法，从而能够精确且可复现地评估工具选择和参数构造。为同时确保语义正确性和实际可执行性，我们开发了一个多阶段验证流程，结合基于 LLM 的验证、沙箱终端执行以及人在环路中的迭代完善。基于这些细粒度且确定性的信号，KaliBench 还支持用于训练的无需运行时的可验证奖励。在三种评估模式和 24 种通用型及网络安全专用开源权重模型配置下，在不提供限制的设置中，没有任何开源权重模型的精确命令准确率超过 42%，这凸显了在缺乏明确工具提示时，准确使用基于 CLI 的网络安全工具的困难。我们进一步表明，使用源自 KaliBench 的可验证奖励进行监督微调和强化学习，能够显著提升一个 8B 模型的性能，并达到与 685B MoE 模型相当的表现。