超越总体准确率：提示词优化中的题目级结果转变

arXiv:2610.19084v1 公告类型：新提交 摘要：自动提示词优化（APO）利用模型响应中的反馈自动改进提示词。然而，其有效性通常通过总体得分衡量，无法揭示哪些问题的回答由错误变为正确、哪些原本正确的回答变为错误，以及改进是否能推广到未见过的问题。我们提出 Reflective Feedback-Driven Prompt Optimization（RFDPO），这是一种跟踪纠正（由错误变为正确）、退步（由正确变为错误）和变动（所有结果发生变化的情况）的工具。RFDPO 利用这些反馈指导后续修订，并记录整个优化过程中的提示词变化。我们在涵盖法律、知识、指令遵循、数学和隐私的五个基准上评估了 RFDPO，使用 GPT-5 作为优化器，GPT-4o-mini 和 GPT-4.1 Mini 作为解题模型。结果表明，总体准确率可能掩盖大量变化：在九种配置中的五种配置下，变动量至少是净变化绝对值的五倍；仅一道题的净变化，背后可能隐藏着多达 17 道题的结果变化。验证集上的平均提升为 7.9 个百分点，而留出测试集上的平均提升为 5.2 个百分点。在 LegalBench-Hearsay 上开展的受控消融实验中，题目级反馈在保持相近净增益的同时，将变动量减少了 40%（$p=0.024$）。这些发现表明，除总体准确率外，还应报告纠正、退步、变动情况以及在未见数据上的表现。