SAGE：通过拓扑引导缓解长时域推理偏差

在稀疏奖励机制下，长时域推理仍然是大型语言模型（LLMs）面临的核心挑战。我们认为，这种脆弱性源于复杂推理空间所诱发的两种偏差：探索偏差，即模型倾向于选择局部上看似合理但在结构上不稳定的分支；累积偏差，即微小的局部偏离会随推理深度不断累积，从而抑制稀有奖励的获得。我们提出符号闭包分析（Symbolic Closure Analysis，SCA）这一理论视角，用于刻画在具有局部可接受性的长时域推理中，分支结构和稀疏奖励如何诱发上述偏差；同时，它也为形式化程度较低的推理任务中的结构先验设计提供了原则。受此分析启发，我们提出 SAGE（Structural Admissibility-Guided Exploration），一种统一框架，通过注入结构引导来缓解长时域推理中的探索偏差和累积偏差。SAGE 结合了两种互补的结构引导方式：代数稀疏化，将局部可接受的候选投影到以算子为索引的代数子空间中，以抑制虚假分支并缓解探索偏差；双曲结构引导，将推理状态嵌入负曲率空间，以提供沿深度方向的稠密信号并缓解累积偏差。在 12 个基准和 7 个模型系列上，SAGE 均优于具有竞争力的基线方法。特别是，在 Andrews-Curtis 问题这一开放性的现实长时域任务上，SAGE 实现了最高达 8 倍的性能提升。代码地址：https://github.com/Susan571/SAGE-NeurIPS2026】【。