将编译视为假设:面向真实推理模型提示优化的提升空间分类体系
Compile as Hypothesis: A Headroom Typology for Prompt Optimization on Real Reasoning Models
精选理由
揭示提示优化的适用边界与失效风险,帮助研究者稳健评估推理模型并避免误判收益。
AI 摘要
自动化提示编译器会搜索或改写提示,其隐含假设是优化能够持续改善下游任务表现。我们通过严格的同日配对测量,在前沿推理模型上评估了这一假设。在四类优化器(基因组搜索、剖析引导变异、GEPA 和 ESPO)和八项任务中,结构化搜索未能为强推理模型带来统计显著的准确率提升。然而,离散的结构基因组提供了至关重要的架构稳定性,防止了灾难性的双峰式种子坍塌(无约束搜索在 5 次运行中的 3 次坍塌至评判器评分下限附近)。通过在知识密集型基准上开展涵盖 190 道题的评估,我们建立了一个三维提升空间分类体系:提示优化无法弥补模型固有的知识缺陷,也无法克服物理性的 token 截断,但能够成功解决协议和格式错误。在 gpt-6 上,自由文本反思式搜索(GEPA)在一项结构化搜索表现持平的任务中取得了 +0.14 的增益,但定性消融分析显示,其中约 0.035 来自对评判器评分标准的重建,而约 0.105 则反映了真正的指令改进。我们预注册的 AutoAPC-Select 部署门控机制在 7 组中的 5 组与预言机策略一致,并以零遗憾挽救了发生种子坍塌的实验分支。最后,我们揭示了商业 API 在服务中断时段悄然混用后端的现象,并提供自动化的逐次调用审计验证工具,以确保实证评估的保真性。