中文竞技辩论数据集与基准

辩论裁决需要跟踪论点如何通过互动逐步发展，然而现有数据集很少能在统一评分标准下，将细粒度的辩论文字记录与真实比赛期间收集的专业裁判意见结合起来。我们推出了一个数据集和基准，用于评估大型语言模型在比赛、阶段和辩手层面对中文竞技辩论的理解能力。我们组织了182场比赛，并招募了120名专业裁判；每场比赛均由三名裁判依据预先制定的评分标准独立裁决。在排除记录不完整的比赛后，该数据集包含148场比赛、2,698个阶段和20,542个交锋单元，并配有人工核验的文字记录与分段结果。数据集保留了原始阶段得分、比赛胜负投票、最佳辩手投票以及裁决理由。我们定义了三项任务：胜负倾向预测、阶段得分预测和最佳辩手预测。对多个大型语言模型进行零样本评估后，胜负预测准确率最高达到66.2%，模型阶段得分与人类平均评分之间的最高Pearson相关系数为0.250，最佳辩手预测准确率最高达到56.8%。该数据集和基准为研究大型语言模型对互动式论证的理解能力，以及其与专业裁判的一致性提供了测试平台。