这些模块值得其成本吗?一项面向上下文学习(ICL)text-to-SQL的范式级准确率-成本分析
Are These Modules Worth Their Cost? A Paradigm-Level Accuracy-Cost Analysis of In-context Learning Text-to-SQL
精选理由
帮助读者判断文本转SQL各模块的性价比与选型策略。
AI 摘要
近年来,in-context learning(ICL)text-to-SQL 的最新进展,通过围绕基础生成器构建日益复杂的流水线,显著提升了公共基准上的执行准确率;然而,现有研究通常只报告整体端到端准确率,而没有量化各个设计选择在准确率与成本上的边际贡献。因此,提供一种统一的、范式级的成本-准确率量化方法,仍是理解和配置现代 text-to-SQL 的关键挑战。为解决这一问题,我们在单一受控实现下,围绕 ICL text-to-SQL 流水线中五个反复出现的模块,实例化了 17 种范式级配置,并在涵盖不同能力水平和推理风格的四个骨干模型上,归因每种范式的边际贡献及其产生的成本。我们的分析表明,执行反馈细化是唯一一种其收益在始终较低成本下都具有普遍性的范式,而大多数其他模块仅在依赖骨干模型的条件下才有帮助。Token 统计显示,输入需求与流水线结构的关联更紧密,而输出需求对骨干模型的生成行为更敏感。跨模块分析进一步表明,堆叠在大多数骨干模型上都能提升准确率,不过增益的组合方式会随骨干模型能力而变化。我们还发现,在固定预算下,通常将资源用于在中等水平骨干模型上构建更复杂的流水线,比升级到配备精简流水线的前沿模型更划算。这些发现提炼出一套可操作、兼顾成本的分层指南,可无需逐范式搜索便迁移到另外五个骨干模型。