4DCodeBench:对动态场景逆向图形生成代理的基准测试
4DCodeBench: Benchmarking Agents on Inverse Graphics of Dynamic Scenes
精选理由
提供评测智能体以代码重建动态场景能力的基准,揭示其复杂物理建模短板。
AI 摘要
我们推出了4DCodeBench,这是一个通过代码生成进行4D逆向图形研究的基准测试。在该基准中,代理需要将视频中的动态场景重建为可执行的图形程序。为实现这一目标,代理必须将视觉观察转换为对场景结构和动态特性的紧凑表示,并通过实现物理模拟等抽象来复现复杂行为。为评估这一能力,我们整理了一组真实世界视频,并构建了涵盖多种物理现象的合成场景,包括形变、流体流动和断裂。我们对前沿模型进行了广泛的基准测试,发现强大的静态重建能力尚不能可靠地迁移到复杂动态的重建任务中。4DCodeBench为跟踪代理通过代码理解世界动态的进展提供了测试平台。我们的基准测试已发布于 https://github.com/4DCodeBench/4DCodeBench