DiagGen：利用基于仿真的诊断进行机器人仿真的智能体驱动可变形资产生成

尽管可用于仿真的可变形资产对于计算机模拟中的机器人操作任务至关重要，但现有生成框架通常只在生成完成后评估物理合理性，未能将物体的模拟响应作为反馈来修复上游错误。我们提出 DiagGen，这是一种智能体驱动的框架，通过“生成--模拟--诊断--优化”循环，将单张真实场景图像转换为可用于仿真的可变形资产。DiagGen 构建具备部件感知能力的几何结构和材料参数，然后利用基于 VLM（视觉语言模型）的智能体选择具有语义信息的区域，在物理模拟器中对这些区域进行探测，观察材料响应，并将有证据支持的修复线索传递给相应的生成阶段。在 40 个资产上的实验表明，诊断能够提供有用的修复线索，并适度提升生成的可变形资产的质量。最后，我们展示了，与由视觉基础模型生成、可能无法进行仿真的资产不同，DiagGen 生成的可变形资产可以直接导入高保真物理模拟器，用于接触丰富的抓取与放置任务的规划和仿真。项目网站：https://diaggen.github.io/。