面向表格数据的对话式任务消歧：泄漏感知的形式化、基准套件与训练
Conversational Task Disambiguation over Tabular Data: Leakage-Aware Formulation, Benchmark Suite, and Training
精选理由
提出防信息泄漏的表格任务澄清框架与基准，助力可靠评估和训练对话式数据代理。
AI 摘要
arXiv:2610.10740v1 发布类型：新增 摘要：面向表格数据的对话式任务消歧，是指在针对表格或数据库生成解决方案之前，通过对话解决用户预期任务中缺失的信息。现有的评估和训练缺乏泄漏感知的基础。任务成功率混合了智能体的消歧能力与解决方案生成能力，还可能反映出预言机泄漏，即用户模拟器透露了超出真实用户可能提供范围的信息。现有数据集也缺乏对歧义和访问边界的统一表示。我们提出了“歧义可验证任务”这一概念，对歧义及其消解进行形式化，将智能体分解为提问策略和解决方案策略，并将环境分解为预言机和验证器。该框架提供了用于将任务消歧与解决方案生成分开评估的基线和指标、预言机泄漏的形式化定义、无需评判器的泄漏诊断方法，以及用于训练提问策略的目标函数。我们在 text-to-SQL 中实例化了该框架，构建了 AmbiTab 基准套件，将六个存在歧义的数据集统一为一种表示形式，明确智能体、预言机和验证器各自可以访问的内容。我们评估了澄清策略和预言机泄漏，并使用强化学习训练了提问策略。训练后的提问策略在全部六个数据集上提升了我们的消歧指标，并在其中五个数据集上提升了任务成功率；我们的泄漏诊断方法则衡量了训练对预言机泄漏的影响。