纳什均衡文本：一种用于文本生成的博弈论解码框架

文本修订已成为大语言模型的重要组成部分。本文对修订过程进行形式化，使其能够达到纳什均衡：词元位置是参与者，词汇项是行动，每个参与者的效用是语言模型的对数条件概率。我们通过展示以下事实来说明修订的动机：随着序列长度的增加，纳什均衡的似然可能比自回归输出高出指数级。我们进一步提出 Nash decoding，这是一种算法：在能够获得给定提示条件下词元联合概率的情况下，该算法可在 O(1/ε) 时间内达到 ε-纳什均衡。在实践中，我们使用大语言模型提供的条件概率估计来运行 Nash decoding，并在问答基准上评估所得均衡。在 CLAPNQ、PubMedQA 和 CoQA 上，从掩码语言模型中获得的纳什均衡，其 F1 和 ROUGE 得分高于自回归模型，最高可达后者的 18 倍；这一过程无需微调或重新训练，但需要额外的测试时计算。