解析器早已知晓：受限解码中的轻量级偏差校正

arXiv:2608.10137v2 公告类型：替换交叉版本 摘要：语法约束解码（Grammar Constrained Decoding，GCD）通过在每一步屏蔽不符合要求的词元，迫使语言模型（Language Models，LMs）生成语法有效的输出。然而，由于屏蔽机制只检查每个词元截至当前是否有效，最终完整输出的分布会偏离语言模型在语法条件下自身的分布，使生成倾向于选择有效但次优的输出。在线采样可以恢复这一分布，但只能通过代价高昂的迭代式重新采样来实现。我们的关键洞见是，GCD 工具已经维护的解析器和词法分析器状态，携带了关于未来语法有效性的强信号。我们提出 SHIM：一种轻量级、离线训练的语言模型下一词元概率校正方法，其条件输入包括这些句法与词法状态以及候选下一词元。由于 GCD 工具已经计算这些状态，SHIM 无需改动语言模型本身。在位向量和 text-to-SQL 语法上，与掩码和在线采样相比，这种校正显著缩小了与语言模型语法条件分布之间的差距，同时运行速度几乎与掩码相当。即使是只查看下一词元的变体，也能优于这两个基线方法，从而使 SHIM 可以与不公开解析器状态的 GCD 工具一起使用。