arXiv cs.AI精选76

能力出众而简约:提取并刻画前沿模型中隐藏的思维链

Capable yet Parsimonious: Extracting and Characterizing Hidden Chain-of-Thought in Frontier Models

· 21天前

精选理由

揭示前沿模型隐藏思维链的结构与效率,为理解和评估其推理能力提供新方法。

AI 摘要

前沿语言模型能力的快速提升通常被归因于推理能力的增强,但由于闭源系统中的原始 CoT 轨迹处于隐藏状态,这一点无法得到验证。通过标准 API 功能注册一个简单的自定义工具,我们促使前沿模型将中间推理外显出来。鉴于这些轨迹可能反映的是事后合理化,而非真正的推理,我们首先在开源模型上以原生 CoT 为基准进行评估,并将研究扩展到包括 GPT-6 Astra 在内的闭源前沿模型。我们发现,在竞赛数学、科学和代码生成任务中,提取出的推理与原生推理具有相当的性能,并显著优于无推理基线。随后,我们刻画了前沿模型组织中间推理的方式。通过分析 token 效率、推理步骤类型和诱导出的推理树,我们发现,不同模型在外显、压缩和组织推理的方式上存在系统性差异。我们发现,Astra 展现出 token 高效的定向推理能力,能够更早选定正确轨迹,同时在内部解决基础步骤,仅将关键推理外显。这些发现为理解前沿模型推理提供了超越基准测试分数的行为视角。

查看原文(arXiv cs.AI)