利用势函数估计自回归语言模型下的期望
Estimating great expectations under autoregressive language models with potentials
精选理由
新颖度 85 / 深度 78，来自 arXiv cs.LG。
AI 摘要
arXiv:2610.11399v1 公告类型：cross 摘要：语言模型的许多应用关注的并非单个样本，而是模型下某个测试函数的期望。可靠地估计这类期望可能需要高昂的计算成本。本文展示了如何利用采样过程中作为副产品获得的下一词元条件概率，提高估计效率。具体而言，我们引入势函数：定义在前缀上的实值函数，可将测试函数分解为加性形式。我们构造了一种估计量，其方差取决于所选势函数，并推导出势函数能够降低方差的条件。随后，我们针对多个待估计量和应用开发了实用的势函数，并证明在相近计算成本下，这些势函数能够在多个待估计量上显著降低方差。