模式识别与逐步推理之间的二分性

arXiv:2610.09186v1 公告类型：新 摘要：我们认为，模式识别与逐步推理是一个连续谱的两个端点。当数据的结构使得下一个词元仅取决于少量前置上下文时，大语言模型（LLM）会学会逐步推理。当下一个词元取决于大量前置上下文时，LLM 的推理则类似于模式识别。如果下一个词元仅取决于最近的 $c$ 个词元，那么推理轨迹就是德布鲁因图上的路径，其中节点表示长度为 $c$ 的上下文，边表示上下文之间由下一个词元引起的转移。一个任务的推理轨迹集合构成德布鲁因图的一个有向无环子图。已经学习了该子图所有边的 LLM 可以将这些边组合起来，以解决更长且未见过的任务，即进行逐步推理。我们证明，与推理轨迹的数量相比，边的数量小得可以忽略不计。实证表明，transformer 所需的训练样本数量与边的数量之间呈幂律关系，因此学习逐步推理具有较高的样本效率。通过维护一个使未来推理与过去无关的“状态”，我们可以在任何任务中诱导出德布鲁因结构。推理轨迹中状态的频率决定了 $c$。我们通过对 Qwen2.5-1.5B-Instruct 进行微调，使其解方程并回答有关故事的问题，结果表明，频繁出现的状态（较小的 $c$）能够带来更高的准确率，但在测试时受到扰动时也更加脆弱。使用较大 $c$ 训练的 LLM，其表现并不优于那些不进行推理、仅执行模式识别的模型。适中的状态密度能够在准确率与鲁棒性之间取得平衡。我们表明，现实世界的数据具有德布鲁因结构：当注意力被限制在一个滑动窗口内，且该窗口长度小于完整推理轨迹长度的 15% 时，Qwen3-14B 和 Qwen3-32B 在 GSM8K、MATH-500 和 GPQA-Diamond 上仍能保持超过 75% 的准确率。