WorldSolver:LLM 智能体能否通过生成求解器模拟物理动力学?
WorldSolver: Can LLM Agents Simulate the Physical Dynamics via Solver Generation?
精选理由
介绍评测大模型生成物理仿真求解器能力的基准,揭示其在执行、视觉与物理正确性上的短板。
AI 摘要
基于 LLM 的智能体正在不断推动科学与工程问题求解的发展,而物理模拟正逐渐成为一种具有挑战性但又切实可行的测试平台,用于复现复杂的物理现象,并应用于具身智能、游戏和电影等领域。作为此类模拟的核心工具,求解器负责计算动态系统的状态如何随时间演化。构建这类求解器需要理解物理规律以确定合适的模型,运用数学推理来描述底层动力学,并通过软件工程将其实现为可执行代码;然而,LLM 智能体的这一能力仍未得到充分探索。为此,我们推出了 WorldSolver,这是一个包含 168 个模拟任务的基准,任务源自 61 篇经典计算机图形学论文中的物理现象,涵盖 7 个物理领域。每个任务都包含一个代码框架,为场景提供固定的模拟环境,而求解器的实现则留待智能体完成。具体而言,我们从三个维度对其进行评估:执行检查,用于判断是否成功执行;视觉保真度,用于评估渲染模拟中是否复现了预期的动态行为;以及物理合理性,用于基于物理规律验证所生成的动力学。对前沿智能体的实验表明,生成可执行的求解器本身就十分困难,而同时满足视觉和物理正确性则更加困难。GPT-5.6-Sol 和 Claude-Opus-5 的表现相较于其他受评估智能体更好,但总体得分仍分别只有 48.7% 和 46.7%。WorldSolver 是迈向智能体求解器生成的早期一步,我们希望它能够推动智能体忠实模拟动态物理世界的研究进展。代码见 https://github.com/sirujiang/WorldSolver。