高效 AI 编程的推理模式：一项实证研究

大型推理模型（LRMs）会生成较长的推理轨迹，展现其中间推理行为，为研究和控制 AI 编程中的推理过程提供了机会。然而，这些轨迹中的底层模式及其在分析和引导编程模型方面的潜力仍缺乏充分理解，从而限制了对 LRM 推理进行系统刻画和推理时控制。我们针对四类具有代表性的编程任务，对推理模式开展了一项实证研究。我们将推理轨迹转换为结构化动作序列，并利用任务内支持度、跨任务对比以及有效—无效支持度对比，挖掘反复出现的片段。我们刻画出编码代理的四种通用推理模式：代码生成中的设计到实现、执行推理中的状态跟踪、调试中的证据—修复—再检查，以及翻译中的语义映射。我们进一步识别出分别与有效和无效推理轨迹相关的正向模式和负向模式。正向模式体现了由验证驱动的收敛，而负向模式则体现了反复修改设计、反思以及无法形成闭环的知识回忆。为展示这些模式的实际效用，我们评估了三种基于模式的应用：任务识别、模式引导的提示，以及模式感知的提前停止。捕捉通用推理模式的特征，能够在不访问任务描述或最终答案的情况下，根据推理轨迹准确识别任务。由正向和负向模式引导的提示提升了下游任务的整体准确率，而模式感知的负向提前停止则在仅小幅降低 pass@1 的情况下，大幅减少了 API 报告的 token 使用量。这三种应用还都能泛化到此前未见过的模型，表明推理模式既能支持对 AI 编程中 LRM 行为的分析，也能支持对其进行控制。