基于 LLM 的 IT 工单分类中的成本感知弃权

IT 支持工单的错误自动路由可能比人工分流成本更高。我们将成本感知弃权作为一种离线、以成本为条件的就绪性评估方法进行评估：在明确成本设定下，利用校准数据选择路由策略，再将该策略固定，在留出的测试数据上进行一次评估。在一个包含 47,837 张工单、八个类别的公开语料库上，我们比较了四种经过训练的非 LLM 分类器，以及采用零样本和少样本提示的四种大语言模型。在示例成本模型 (c_ok, c_triage, c_wrong) = (0, 1, 5) 下，采用逻辑回归的 TF-IDF 方法，使用在校准数据上选定的 0.60 阈值，将测试成本从 0.763 降至 0.472，相对降幅为 38.1%（配对比值自助法估计的 95% 置信区间为 [35.7%, 40.4%]），同时将错误路由率从 15.3% 降至 3.5%。在事后成本参数分析的 16 种设置中，有 14 种设置下，固定的校准所选策略在留出测试数据上的表现同时优于始终自动路由和始终转交人工两种策略。表现最好的提示配置在分层抽样的 1,000 张工单测试子集上达到 0.477 的准确率，而经过微调的 DistilBERT 在相同工单上的准确率为 0.879。保序回归降低了期望校准误差，却未能可靠地改善区分能力：GPT-4o-mini 的少样本配置在重新校准前后均只有一个置信度值，其正确性 AUROC 为 0.500。因此，除 ECE 外，我们还报告正确性 AUROC 和考虑并列值的风险—覆盖率曲线下面积。在通过解析方法推导出的盈亏平衡概率 0.80 处，七种提示配置将所有工单转交人工；Haiku 的少样本配置仅对 1,000 张工单中的 19 张进行自动路由。仅使用 LLM 的一致性对照，以及基于间隔和熵的拒绝基线，进一步区分了校准与区分能力。研究结论仅适用于本数据集、提示设计、模型端点和示例成本设定；本工作提供的是一个评估框架，而非新的弃权算法或通用的部署认证。