理解大语言模型中思维链推理的分布外泛化

arXiv:2611.06438v1 公告类型：新论文 摘要：思维链（CoT）推理显著提升了大语言模型（LLMs）的能力，但其分布外（OOD）泛化机制在理论上仍缺乏充分研究。我们将 CoT 作为组合式 OOD 泛化来研究：目标任务缺乏完整的推理轨迹或直接的输入—输出对，而训练仅提供分布内（ID）的原子步骤数据。我们表明，CoT 通过反复应用共享的单步预测器，将可复用的 ID 转移组合起来，从而实现泛化。在理论上，设 $T$ 为目标任务的推理步数，$n$ 为每个子任务的训练样本数，$k$ 为每一步的输出词元数；那么，OOD 任务风险受 ID 子任务风险之和控制，其缩放系数的量级为 $\mathcal{O}(k)$，且与 $T$ 无关，尽管风险之和本身仍可能随 $T$ 增长。Rademacher 复杂度分析进一步表明，在对共享预测器类进行统一容量控制的条件下，由于预测器共享，估计项的量级为 $\mathcal{O}(\sqrt{T/n})$，而非随 $T$ 线性增长。对于自回归下一词元预测，最终任务风险的上界为预测器类内最优的步骤级风险乘以同一个量级为 $\mathcal{O}(k)$ 的系数，再加上一个量级为 $\widetilde{\mathcal{O}}\big(k\sqrt{T/n}\big)$ 的估计项。一个奇偶耦合构造进一步表明，对于子任务的经验风险最小化解，当 $T\le n$ 时，其最终任务的期望风险至少为类内最优风险加上 $\Omega(\sqrt{T/n})$。在 Atom-Task 和 GSM8K 上的实验支持了上述理论：CoT 能够实现从短到长的泛化和组合式泛化，而显式状态跟踪至关重要。我们的代码已发布于 https://github.com/maxliang114514/CoT-OOD。