相同查询，不同答案：语义查询处理中的运行间变异

语义查询引擎要求大语言模型（LLM）对单个数据行作出判断，而基准测试通过温度为 0 时少数几次执行的质量来比较这些引擎。我们测量再次执行会带来多大变化。我们通过 SemBench、LRO-Bench 和 UDA-Bench 各自的测试框架，重新执行其文本和表格工作负载，记录全部 120 万次模型调用，并重新分析 SemBench 已公布的执行结果。在温度为 0 时，视模型而定，五次执行中有 0.07% 至 10.2% 的数据行出现算子输出变化，在某项任务中这一比例高达 24.0%。正如可能世界模型所预测的那样，查询计划会放大这些变化，放大程度随答案所涉及的数据行数呈指数增长：在 UDA-Bench 中，提取值仅有百分之几发生变化，但约三分之二的答案发生了变化。在 SemBench 已公布的结果中，21% 的文本结果在不同执行之间出现质量变化，采用确定性查询计划的引擎也不例外。对于若干按查询进行的系统比较，以及针对 LRO-Bench 实现建议开展的 28 项检验中的 16 项，基准测试所进行的执行尚不足以得出定论。发生变化的数据行也是不同模型之间存在分歧的数据行；单次执行内相同请求产生不一致结果的频率，与跨执行时一样高；而一次执行中的决策裕度或推理长度可以预测哪些数据行会发生变化。投票可以降低变异，但无法将其消除；经过校准的级联机制在返回的数据行发生变化时，仍能维持其保证。我们据此推导出基准测试的报告规则和查询引擎的设计规则。