LiFi：通过几何与语义协同引导从多视角图像生成 LiDAR

从多视角相机图像生成 LiDAR 点云是一项具有重要价值的任务，可应用于可控数据合成、跨模态仿真及各种感知任务。然而，大多数现有方法并非专为此任务设计，其生成的 LiDAR 质量仍然有限。此外，这些方法通常仅关注图像中的语义线索，或仅从单目相机图像生成 LiDAR。在本研究中，我们提出 LiFi（LiDAR From images），这是一个专门用于从多视角相机图像生成在视觉和几何上均对齐的 LiDAR 场景的框架。LiFi 通过几何和语义两个互补分支引导潜在扩散过程。几何分支通过反向采样算法以及结合 DepthAnything3 的不确定性感知几何编码器，从图像中构建场景特征；语义分支则通过跨视角交互模块提供高层语义表示。我们进一步提出双分支平衡无分类器引导（CFG）策略，在保留两个分支独立学习能力和协同可控性的同时，增强模型的条件生成能力。大量实验表明，LiFi 在生成高保真 LiDAR 场景方面优于当前最先进的方法。代码将在以下地址公开：https://github.com/szzhou88/LiFi。