SciFusion：用于多模态三维科学图像生成的物理引导组合式扩散

arXiv:2610.30313v1 公告类型：交叉收录 摘要：现有三维生成方法通常针对单一成像模态开发，需要大量模态特定数据，且难以利用科学成像领域之间共享的结构。我们提出 SciFusion，这是一个基于潜在扩散骨干网络、用于统一三维科学图像生成的多模态框架，具有两项关键贡献。首先，我们引入一种组合式条件机制，将每种模态分解为领域、对象和对比度表征。在相关模态之间共享这些因子，可实现异构成像领域之间的知识迁移，并允许在推理时重新组合这些因子，以零样本方式合成未见过的领域—对象—对比度组合。其次，我们引入领域特定的物理约束目标：用于 MRI 的傅里叶频谱一致性、用于 CT 的 Radon 投影一致性，以及用于电子显微成像的多层切片衍射一致性，以促使生成样本遵循各模态对应的图像形成过程。在涵盖 15 种医学和科学成像模态的广泛实验中，与模态特定策略和扁平化多模态条件策略相比，SciFusion 提升了生成保真度和跨领域泛化能力，同时无需针对目标组合进行训练，即可实现未见组合的零样本合成。这些结果表明，物理引导的组合式条件机制为统一三维科学图像生成提供了一个可扩展框架，尤其适用于难以获取大规模训练数据的新兴模态。