使用国际象棋对大型语言模型的提示优化进行基准测试

arXiv:2610.00416v1 公告类型：cross 摘要：随着大型语言模型能力的提升，对其进行评估变得愈发困难：基准测试可能达到饱和，公开测试集存在数据污染风险，而评估更具挑战性的任务可能需要昂贵的评分或执行基础设施。在自动提示优化（APO）中，这些挑战更加突出，因为在寻找更优提示的过程中需要反复进行评估。因此，研究 APO 需要一种评分成本低且具有确定性的基准，同时任务难度足够高、仍有改进空间，并且能够随着模型的发展不断更新。我们构建了一个由 1,118 道 Lichess 棋题组成的国际象棋基准，用于研究冻结 LLM 的 APO：我们优化其提示，而不更新模型权重。国际象棋结合了成本低廉的精确匹配评分、基于引擎对备选走法的评估，以及可持续更新且难度可调的问题来源。不同于只报告孤立测试题成功率的评估方式，该基准还将解题能力的提升与同一领域内的短局对弈展开联系起来。我们使用该基准评估了 8 个目标模型上的 6 种 APO 算法，不仅测量基线能力，还考察每个模型对优化的响应程度，以及优化后的提示能否迁移到其他模型和对弈任务中。因此，国际象棋非常适合作为 APO 基准，原因在于它：（i）具有挑战性，即使是评估中最强的模型 Gemini 3.5 Flash（用作元模型）也只能解决约 55\% 的棋题；（ii）具有区分度，能够揭示不同方法和模型之间的性能提升、性能不变和性能退化；（iii）可持续更新，通过提供新棋题降低数据污染风险，并通过调整难度在模型能力提升时保持提升空间；（iv）成本可控，完整研究的运行成本约为 \$800。我们公开了棋题、优化与评估代码，以及数据集更新脚本（https://github.com/imec-ailabs/Automatic-Prompt-Optimization-with-Chess）。