SQLMorph：用于 Text-to-SQL 评估的查询变异与细粒度指标

Text-to-SQL 系统将自然语言查询转换为可执行的 SQL，降低了访问结构化数据的门槛。尽管近年来大语言模型（LLM）的发展推动了相关技术进步，但评估仍是一个主要瓶颈：公开基准无法捕捉企业级模式的复杂性，而构建私有评估集成本高且具有非确定性，导致评估结果难以复现。为解决这一问题，我们提出了 SQLMorph，一种通过查询变异进行 Text-to-SQL 评估的框架。SQLMorph 引入了两种自动生成和扩展评估集的技术：Join Query Expansion (JQE) 通过添加有效连接来系统性地提升结构复杂度；Textual Query Augmentation (TQA) 则生成受控的自然语言扰动，用于评估系统对语言变化的鲁棒性。JQE 和 TQA 构造了针对性的瓶颈点，以挑战系统的特定组件。将这两种技术应用于最先进的系统后，我们发现，随着连接数量增加，JQE 提升了查询覆盖率，并揭示出系统准确率会随之下降。同时，TQA 表明，大量使用缩写所导致的语言脆弱性最多可使准确率降低 17%。 除了评估集之外，SQLMorph 还提出了一组执行层面的指标，用于解决当前二元指标（如 Execution Accuracy）的局限性。我们定义了 Execution Precision (EXP) 和 Execution Recall (EXR)，分别量化正确结果和恢复结果所占的比例，并通过 F1 将二者结合起来进行统一评分。实验表明，这些宽松指标能够对过度预测和预测不足进行细粒度分析，揭示出二元指标所掩盖的系统间差异。总体而言，SQLMorph 的查询变异和细粒度指标有助于调试，并使 Text-to-SQL 评估实践更贴近真实世界的部署场景。