可见推理并非通用优化器：分析代码生成中依赖角色与思考方式的效应

arXiv:2610.10639v1 公告类型：新 摘要：可见思维链（CoT）通常被视为一种广泛有用的推理指令，然而，分析代码生成结合了自然语言歧义、模式对齐、目标语言约束以及特定于模型的推理行为。由于同一个分析请求可以用两种不同的目标语言——SQL 和 Python（pandas）——来表达，这一场景为检验一个常见但尚未得到充分研究的假设提供了天然条件：当可见推理的表现形式与所要求的目标相匹配时，其效果会更好，例如“用 SQL 思考”或“用 Python 思考”。与“逐步思考”等通用指令一样，这类建议在受控的、基于执行结果的比较中仍未得到充分评估。我们研究了一个查询配对的 SQL-pandas 基准，该基准交叉考察了角色措辞、目标语言、可见 CoT 格式、控制前缀、直接生成以及内部推理配置。结果不支持可见 CoT 能够普遍提升准确率，也不支持让推理表现形式与目标语言相匹配能够始终带来益处。相反，其影响取决于角色、目标、模型配置以及内部推理设置。控制变量消融实验进一步区分了推理内容与提示格式各自产生的影响。这些发现表明，推理策略应针对模型、角色、目标和内部推理配置进行联合选择，而不应被当作通用默认设置。更广泛地说，本研究提供了一个受控框架，用于识别可见推理何时能够改善可执行代码生成、何时主要扰动模型行为，以及何时内部推理配置才是更具决定性的因素。