针对自动化决策门，将 System One 决策模型与训练分类器和语言模型进行基准比较

arXiv:2610.00346v1 公告类型：新 摘要：将分支决策交给模型的软件需要一个明确的选项，以及一个可据此设定阈值的概率。类型化决策模型，也称为 System One 模型，无需生成文本即可返回此类概率；监督式分类器和生成式语言模型则是成熟的替代方案。在条件匹配的情况下，一个统一测试框架向来自六个系列的八个决策模型检查点（包括托管模型 Jev）以及两个生成式对比模型发送相同的语义请求，并在相同的工作流、意图和社会科学项目上评估监督式分类器与零样本分类器。模型类别的排名取决于具体条件。使用任务自身的标签时，小型训练分类器在意图任务上最准确，而在工作流任务上与最佳决策模型没有显著差异。在没有标签的情况下，除基于编码器的检查点外，所有决策模型在工作流和意图任务上都超过了零样本蕴含分类器。根据选项键似然进行判断时，一个更大型的生成式模型在工作流和意图任务上与 Jev 持平，并能在百分之五的风险水平下接受更多工作流决策；经过微调的决策模型检查点相比未经调优的骨干模型提高了意图准确率。在较少选项上拟合并保存的温度参数用于较多选项时，会提高校准误差；即使采用针对百分之五范围内风险设置的留出阈值，Jev 仍会接受 0.310 的范围外请求。对 Jev 交换 yes 和 no 后，每百个回答中有 50.5 个发生翻转；而微调后的检查点减少了其骨干模型在社会科学任务中的翻转。一个经过意图训练、在必要时升级到 Jev 的第一阶段模型，在图形处理器满负载利用率下，只需 0.43 的成本即可达到相同准确率。研究结果为自动化决策门提出了依条件而定的设计规则。