分层协作式 GFlowNets

生成流网络（GFlowNets）经过训练，能够以与奖励函数成正比的概率从组合空间中采样对象，但低效的探索可能导致学得的采样器集中于少数高奖励区域。一种直观的解决办法是并行独立训练多个 GFlowNets，并合并它们的样本。然而，这并不能防止多个模型坍缩到相同的高奖励区域，从而使状态空间中的大片区域仍未得到探索。为此，我们提出 Hierarchical Cooperative GFlowNets（HCG），这是一种通过动态划分搜索空间来协调探索、而不依赖手工设定边界的方法。HCG 引入了一种排序机制：排名最高的模型可以探索整个空间，而排名较低的模型则被逐步引导至排名较高的模型尚未覆盖的区域。我们从理论上刻画了特定学习目标如何将概率质量从指定区域移出，并在我们的架构中具体实现了这一机制。一个共享分类器通过划分搜索空间来协调这一层级结构，同时保持各个 GFlowNets 的参数独立，并支持异步训练。此外，我们为该集成模型推导了一种基于归一化常数加权的聚合规则，并证明在所述假设下，该规则能够恢复与奖励成正比的目标分布。最后，在多模态分布、序列生成、组合优化和生物序列设计任务上的实验表明，HCG 能够改善模态覆盖和目标分布逼近效果，将协同采样器数量的增加转化为更广泛且互补的探索。