ScaffoldM3C：用于生成式稳定构建规划的多模态序贯蒙特卡洛框架

arXiv:2610.00487v1 公告类型：cross 摘要：由于组合式动作空间、可互换组件、等终装配序列，以及构建过程中的严格稳定性要求，自主构建物理上可实现的三维结构仍然是一项重大挑战。现有最先进的方法针对基于文本的生成式构建对大型语言模型进行微调。然而，这些方法不支持多模态（文本、图像、草图）条件，忽视了脚手架在稳定中间结构方面的实际作用，并且推理速度较慢。因此，我们将构建形式化为一个概率式的下一方块生成任务，其中包含多个潜在的装配动作和多种潜在的任务条件模态。同时，我们通过引入辅助脚手架方块标记，明确考虑脚手架的效用。我们提出了 Scaffold Multimodal Monte Carlo（ScaffoldM3C），这是一种用于稳定方块式构建的多模态、轻量级、自回归模型，能够提出一组下一步候选方块。利用这些候选方块，我们采用序贯蒙特卡洛（SMC）来维护可能的装配序列集合，从而能够同时考虑多个可能不同的装配方向。我们通过扩展 StableText2Brick 数据集来训练多模态架构，使其包含图像条件提示和经脚手架稳定的构建序列。ScaffoldM3C 的规模比竞争基线小 4 倍，在推理过程中实现了 5 至 20 倍的加速，同时达到了与现有最先进方法相当的构建质量和更高的整体稳定性。我们通过仿真和真实世界的机器人装配演示，展示了该方法的有效性。