SceneBloom:面向具身学习、具有真实且多样布局的智能体式室内环境生成
SceneBloom: Agentic Indoor Environment Generation with Realistic and Diverse Layouts for Embodied Learning
精选理由
提出将视觉布局生成与几何约束编译结合,自动构建逼真、无碰撞的室内场景,提升具身导航训练效果。
AI 摘要
训练具有泛化能力的具身智能体,需要真实、多样且可直接用于仿真的室内环境。语言引导的方法支持语义规划和对象级推理,但精确的空间定位仍然困难。视觉生成模型为合理布局提供了丰富的先验知识,但其输出需要经过几何推理才能成为物理上有效的三维场景。我们提出 SceneBloom,这是一个将视觉布局采样与契约引导的三维编译相结合的智能体框架。分层采样器利用扩散先验,在各功能区域内生成家具布局。随后,编译器利用从每个候选方案中提取的关系,指导几何拟合和局部位姿校正。在五种房间类型上,SceneBloom 的视觉质量和物理稳定性均优于所有对比方法,并且是唯一未检测到网格碰撞或对象越界的方法。其布局也比所有对比基线更接近真实房间的分布。在这些真实感场景中训练的目标物体导航策略,在留出的真实扫描场景中取得的成功率,高于使用同等数量的真实训练扫描场景训练的策略。代码已发布于 https://github.com/Tinaliu0123/scenebloom。