自归一化 Kullback-Leibler 估计的通用界

arXiv:2610.12851v1 公告类型：交叉发布 摘要：本研究考察了一种基于熵的 Kullback-Leibler（KL）散度估计量，该估计量由归一化重要性权重构造而成。我们证明了一个通用的有限样本界，表明对于任意样本量，该估计量的期望至多比目标分布相对于提议分布的 KL 散度高出 $\log 2$。随后，我们刻画了重要性加权重采样所诱导的分布与提议分布之间的 KL 散度，并表明，基于熵的估计量的期望以及目标分布相对于提议分布的 KL 散度均为其上界。重要的是，这些界既不要求重要性权重有界，也不要求高阶矩有限。我们将这些结果应用于通过 Soft Best-of-$N$ 采样实现的生成模型测试时对齐，以及相对熵编码，得到有限样本下的策略散度保证和无需矩条件的编码成本界。Soft Best-of-$N$ 采样是 Verdun 等人（2025）提出的一种基于重要性采样的扩展技术。