arXiv cs.AI精选77

业务语义变化下的文本转 SQL 查询验证

Verifying Text-to-SQL Queries under Changing Business Semantics

· 3天前

精选理由

提出可审计的验证方法,帮助发现业务定义变更后仍能执行却语义错误的 SQL 查询。

AI 摘要

在文本转 SQL 和 AI 智能体分析中,SQL 成功执行并不能证明其在业务定义变化后的语义正确性。我们研究了退款归属、税务处理、符合条件的群体和汇率日期发生变化后,对固定查询进行重新验证的问题。可执行的验证配置将所要求的修订及知识截止时间与合法的反例数据和精确的货币金额比较绑定。在针对 32 个新编制的修订族和两个本地生成器组合进行的预注册确认性研究中,保留了 192 个查询—定义单元:144 个不符合定义、36 个在有限测试套件上结果一致、12 个尚无定论。在不符合定义的单元中,有 63 个在当前数据快照上的结果一致。在八个账本的预算下,验证义务引导的检查检测出 137 处差异,而通用排序检测出 127 处,配对差值为 6.9 个百分点(按修订族进行自助抽样的 95% 区间为 [2.1, 13.6];按修订族进行精确符号翻转检验,p=0.0156)。所有账本实验组均未拒绝这 36 个结果一致的单元中的任何一个。按当前验证义务评分和等权重评分均取得了与引导检查相同的结果,表明观察到的收益来源是覆盖度,而非针对特定修订的优先级。受控测试、自然查询试点和重复抽样分别提供了机制与稳健性方面的证据。合法数据上的差异足以否定符合性;结果一致的结论则仍仅限于已记录的测试套件。本研究在其编制的模式和本地模型范围内,建立了一套可审计的业务语义重新验证配置。

查看原文(arXiv cs.AI)