LLMs 能够推理运行时行为吗？一个仓库级动态基准

大型语言模型（LLMs）正日益广泛地用于编程任务，但它们推理代码执行的能力仍不明确。现有的仓库级问答基准主要评估对代码的静态理解，并且通常依赖基于 LLM 的评估；而执行推理基准则大多局限于代码片段或函数。我们推出了 SWE-Flux，这是一个用于动态执行推理的仓库级基准，包含来自 12 个真实 Python 代码仓库的 480 个以执行结果为依据的实例，其标准答案通过对测试执行进行插桩后自动提取，而非人工编写或由 LLM 评判。该基准涵盖单测试和多测试问题，涉及控制流、循环、程序状态、数据流、异常和程序不变量。对五个 LLM 的评估表明，这项任务仍然颇具挑战性。表现最佳的模型准确率仅为 37%。模型在不变量、过程内控制流、异常和简单循环等局部行为上的表现更好，但在数据流、过程间执行、精确的状态推理以及测试套件级聚合方面表现欠佳。最后，我们展示了该真值提取流程能够通过输入扰动生成新的基准变体。对于所选实例中近 90% 的实例，该流程都成功提取出了有效变体；对于参与评估的模型而言，生成的变体也更具挑战性。