Deogen：面向政策推理的自动基准生成

语言模型正越来越多地部署于受监管环境中，在这些环境里，模型必须将给定规则应用于具体情境的事实，以确定判定结果。对这种被称为道义推理的能力进行基准测试仍然是一个成本高昂且依赖人工的过程，现有数据集大多由人工构建。本文介绍了 DeoGen，这是一种可扩展、自动化且参数化的道义推理基准生成器。通过将政策规则自动形式化为一阶逻辑，我们可以构建捕捉各种可能结果轨迹的决策树。沿树向下的每条路径都会成为一个基准条目，每棵树生成的条目数量会随着树的深度呈组合式增长。以叶节点结束的路径蕴含一个判定结果，而非叶节点路径则用于衡量模型在信息不足时拒绝作答的能力。评估结果显示，前沿模型在 89%–92% 的情况下返回了正确判定。值得注意的是，在那些信息不足以得出判定结果的条目上，即使明确要求模型在此类情况下拒绝作答，性能仍会下降至 22%–40% 的正确率。总而言之，DeoGen 提供了一种自动化、可扩展且参数化的方法，用于生成道义推理基准。