BITEM 在 NTCIR-19 R2C2 任务中：从智能体式 RAG 流水线信号预测置信度

BITEM 团队使用一个单一的智能体式流水线参加了 NTCIR-19 R2C2 任务的两个子任务。在该流水线中，一个模型在电影语料库中搜索、阅读并记录证据，而一个编排器保存记录，并裁定哪些内容可以提交。只有当蕴含级联已针对其引用的段落核验某项声明后，该声明才会被接纳；只有当足够的已核验证据支持某个答案时，该答案才会被发布。每个问题运行三到四次，每一轮都从一个已剔除先前轮次已见内容的语料库中检索。随每个答案提交的置信度由编排器根据运行留下的内容计算得出，绝不向模型询问；模型也没有任何给自己评分的方式。两次检索运行在 22 个结果中排名第 4 和第 5，将多轮结果合并带来了 0.0709 的 nDCG@20 提升，而且在多跳和后处理密集型问题上增益最大；组织者将合并运行评为该领域第一。25 个答案运行中有 16 个建立在这两次运行提供的段落之上，其中 12 个由其他团队提交。HMR 奖励那些在回答正确时置信度高、回答错误时置信度低的系统。该流水线达到 0.9219 的准确率，在 25 个结果中排名第 6，而随这些答案提交的置信度得到 0.4915 的 HMR，排名第 13。基于同样记录下来的信号手工制定的少数规则，在不再调用模型、也不再进行检索的情况下，将准确率提高到 0.9375，排名第 5，并将 HMR 提高到 0.6985，排名第 9。仅按 HMR 排名可能会奖励那些以低置信度给出错误答案的系统，因此我们提出 accHMR，即准确率乘以 HMR，它按准确率成比例地报告奖励；按该指标，修订后的规则本可得到 0.6549，排名第 5。对于未来工作，在流水线已经产生的数值上拟合模型，而不是手工编写这类规则，将是真正的进步。