使用 Transformers 进行规划：计算链与结构化上下文窗口

arXiv:2607.17710v2 公告类型：替换 摘要：大语言模型（LLMs）已对机器学习的诸多领域产生了显著影响。然而，近期研究表明，它们难以可靠地解决规划问题，尤其是与经典规划器相比。即使面向推理的模型近期取得了进展，LLMs 究竟能在多大程度上真正执行规划，仍是一个悬而未决的问题。与此同时，理论结果表明，作为现代 LLMs 核心架构的 transformers 具有图灵完备性。在本研究中，我们探究了 LLMs 的理论计算能力与实际规划表现之间这一明显差距。我们提出了 Chain of Computation（COC），这是一种将基于 transformer 的语言模型（LM）置于迭代循环中，并利用其作为模式匹配系统的优势的计算架构。COC 使用 Structured Context Window（SCW）作为外部记忆，使模型在每个规划步骤中仅访问累积上下文中所需的部分，从而将输入规模维持在近似恒定的水平。在这一架构中，LM 学习规划策略和世界模型，并执行规划过程中所需的算术运算。我们表明，从零开始训练的较小规模 LM 能够从少量训练实例中学会规划程序，并泛化到未见过的问题，在 BlocksWorld 和煎饼排序谜题上的成功率超过 99%。我们进一步表明，COC 可以被形式化为下推自动机（PDA）。这一形式化方案能够求解最多包含 20 个圆盘的汉诺塔（TOH）实例，并使规划器能够执行深度优先搜索（DFS）算法。在理论层面，我们刻画了在标准全上下文设置下，无关上下文的累积如何增加规划失败的概率，以及 SCW 如何缓解这一影响。