RDL-Bench：面向关系数据库的任务感知问答基准

arXiv:2610.21382v1 公告类型：新 摘要：关系数据库（RDB）仍是企业和科学领域存储与管理结构化数据的主要基础设施。面向RDB的自然语言（NL）接口旨在让用户无需编写SQL即可提出问题，但真实用户的需求超越了SQL式查询：有些问题需要基于可观测的数据库状态进行推理，而另一些问题则需要在时间约束下，根据历史关系记录进行预测性推断。现有基准分别孤立地处理这些目标。为弥合这一空白，我们提出RDL-Bench，这是一个面向真实RDB的任务感知问答（QA）基准。RDL-Bench将多样化的用户问题划分为推理型问题和预测型问题：前者的答案由当前数据库状态决定，后者的答案取决于时间约束下的未来结果。每个实例包含一个自然语言问题、任务元数据、模式信息、时间上下文、可执行证据或目标构造逻辑，以及指称层面的真实标签。RDL-Bench支持两种评估设置：在其预期能力范围内运行的原生求解器，以及任务感知的模块化系统，其中路由器将每个问题分发给适当的执行模块。