使用离散扩散进行信息估计

arXiv:2610.23404v1 公告类型：新发布 摘要：互信息（Mutual Information，MI）等信息论度量对于理解随机变量之间的非线性关系发挥着关键作用，并广泛应用于各个科学领域。然而，将其用于真实世界的离散数据仍然面临挑战。现有方法通常依赖于将离散数据嵌入连续空间，并应用最初为连续分布设计的神经估计器。这一过程需要对嵌入模型和估计器架构进行细致设计，同时还会受到数据维度过高相关问题的影响。在本文中，我们提出了 InfoSEDD，这是一种基于离散扩散的方法，将信息论估计与生成建模相结合，从而能够用于计算 Kullback-Leibler 散度。InfoSEDD 的设计以连续时间马尔可夫链理论原理为基础，轻量且具有可扩展性，并能与预训练模型无缝集成。我们通过多个应用展示了该方法的通用性，包括遗传启动子数据中的基序发现、文本摘要中的语义感知模型选择，以及 Ising 模型中的熵估计。最后，我们在真实世界的文本和基因组数据上构建了一致性测试。实验结果表明，InfoSEDD 优于依赖“嵌入技巧”的替代方法。我们的结果表明，InfoSEDD 是一种用于离散数据​​信息论分析的稳健且可扩展的工具。