CraftBench-UE：Unreal Engine 中编码代理的确定性评估

在游戏引擎中构建玩法功能需要的不仅仅是代码，因为能够编译和运行的代码并不一定实现了所要求的玩法。我们介绍 CraftBenchUE，这是一个评估框架，可在隔离的 Unreal Engine 环境中运行代理，在全新项目中重建其保存的提交，并在不使用 LLM 评判器的情况下应用确定性的构建、资产和运行时检查。基于该框架，我们构建了一个基准，包含 70 项任务，涵盖 C++ 源代码、Blueprint 资产和编辑器脚本。我们在两种编辑器工具配置下评估了七个模型，并在 C++ 任务上设置了文件与 shell 基线。我们进一步配对了一组任务，这些任务指定相同的玩法并使用相同的运行时测试，但要求分别以 C++ 和 Blueprint 作为交付物。在 10 个配对任务中，C++ 完成率在两种工具配置下分别比 Blueprint 高出 30.0 和 42.9 个百分点。在这组配对任务中，按时提交且通过资产检查的 Blueprint 提交里，分别有 42.2% 和 50.0% 未通过显式运行时断言。这些提交满足资产要求，但未通过所要求的玩法测试。我们将随报告发布该框架、任务基准以及我们的轨迹发现。