Lattice Deduction Transformers

arXiv:2605.08605v2 公告类型：替换 摘要：我们提出 Lattice Deduction Transformer（LDT），这是一种循环 Transformer，通过在前向传播之间将其潜在状态经由格结构进行投影，近似实现逻辑上可靠的推演。我们采用同策略训练，其过程模拟基于搜索的约束求解器中的推演，并通过基于抽象解释、与领域无关的候选解集合近似来监督训练。一个参数量为 $800$K 的 LDT 在 Sudoku-Extreme 上优于此前的小型循环推理模型，所用训练浮点运算量不到这些模型估计值的 $2\%$，并解出了 $422{,}786$ 道测试谜题中的 $99.999\%$。该模型几乎始终保持推演的可靠性：在 $1.27$M 次谜题评估中，仅有 $4$ 次给出错误答案，其余均返回正确答案或选择不作答。一个参数量为 $1.8$M 的 LDT 变体在 Maze-Hard 上达到了 $99.8\%$ 的准确率。我们的代码已公开，地址为 github.com/lcrh/lattice-deduction-transformers。