通过有限阶松弛将路径梯度扩展到离散随机变量

arXiv:2610.07786v1 公告类型：new 摘要：对于连续随机变量，路径梯度因其无偏、低方差且只需单个样本而备受青睐。然而，对于离散变量，路径恒等式通常无法对每个可微函数都保持精确。我们提出了一个通用框架，用于为一系列常见的离散变量（如 Poisson）构造有限阶精确路径梯度估计器。该估计器是在所有对次数至多为给定值的多项式保持无偏的解中，范数最小的解。所得估计器保留硬前向样本，无需调节温度，并且只需几行代码即可实现。与其他可行解相比，我们的估计器是唯一的，并且能够最小化权重方差；相比之下，已有工作使用 categorical 变量或增广表示来近似非 categorical 变量，从而引入额外的方差和计算开销。为了理解超出预设函数类别的函数所产生的近似偏差，我们还推导了一个非渐近偏差界。在实验中，我们的低阶方法在线性、非线性和层次潜变量模型上均达到或优于经过调优的基线方法，同时在每项运行时间基准测试中都比竞争方法更快。