FALCON:面向 NL2SQL 对的模型与数据集无关的合成数据生成框架
FALCON: A Model and Dataset Agnostic Framework for Synthetic Data Generation for NL2SQL Pairs
精选理由
提供低成本、贴近真实的高难度NL2SQL数据生成方案,提升复杂查询训练效果。
AI 摘要
arXiv:2610.03625v1 公告类型:cross 摘要:关系数据库是部署最广泛的结构化知识形式之一,而要以自然语言访问这些数据库,就需要将语言映射到模式实体和关系上,同时处理人们表达请求时固有的歧义。现有的合成 NL-to-SQL 数据生成方法大多忽略了这种歧义,生成的查询过于简化,无法让模型为现实世界结构化知识访问的复杂性做好准备。我们提出 FALCON,这是一个能够生成逼真的、具备歧义感知能力的 NL-to-SQL 数据的框架,其复杂程度可匹配具有挑战性的现实世界基准,同时借助紧凑型开源模型实现低成本生成。我们的方法结合保留字 SQL 播种和基于人物画像的提示,以生成结构复杂的查询;同时,基于对齐的过滤机制通过区分真正错误的示例与复杂但有效的查询来保留数据难度。人工评估证实,该方法在不同模型规模下都能保持稳定的高质量;生成的数据在 SQL 复杂度和自然语言丰富性方面均超过现有基准。按难度分层的分析表明,随着查询复杂度的增加,使用 FALCON 数据训练的模型相较于使用基线数据训练的模型,其性能优势也不断扩大,验证了该流程生成高难度训练数据的有效性。与少量现有基准数据结合时,混合训练能够恢复模型在简单查询上的性能,同时保留其在复杂查询上的优势。这种与模型和数据库无关的设计,使组织能够在本地生成高复杂度的 NL-to-SQL 训练数据,而无需依赖外部 API。