语义数据处理系统的组合式在线学习

在语义数据处理系统中，一次 LLM 调用的成本高到足以主导查询成本，但其速度又慢到足以将 CPU 端学习器的更新隐藏在其往返延迟之中。在生产环境中，LLM 计算占查询成本的 $80-90\%$，每次调用的成本是一个关系谓词的 $10^5-10^7\times$。这一延迟窗口反转了经典自适应查询处理中的设计约束；在经典场景下，在线学习器必须保持轻量，以避免主导其所优化的谓词。在 LLM 延迟下，逐调用的梯度步骤和逐批次的阈值求解都能纳入往返延迟之内。我们在 LLM 调用边界处提出组合式在线学习：一个用于在语义数据处理系统中组合在线学习组件的框架。每个组件在执行时做出决策，并在线优化其学习得到的产物。该设计空间横跨两个轴：决策粒度和学习器更新节奏；这些组件共享一种单一学习模式，即将每个训练步骤隐藏在下一次 LLM 往返之中。Cortex AISQL 中的一个生产案例研究组合了三个组件：一个记忆化层、一个在线逐调用过滤器排序学习器，以及一个在线逐批次级联路由学习器。条件成本分解将每个学习组件分配给逐行 LLM 成本的一个不同因子。在独立性假设下，这两个学习组件以乘法方式组合，在一个代表性的合取过滤工作负载上达到 $11.4\times$ 的上界。级联边界处的自选择、样本预算收缩以及选择率估计漂移将其降低到接近 $8\times$ 的现实数值。