EnterpriseVal：量化生成式 AI 在企业中的效能、可靠性与价值

前沿语言模型如今能够生成专业交付成果，在相当大比例的具有经济价值的任务上，专家评审者认为其质量可与人类工作相匹敌；然而，大多数企业 GenAI 项目未能显示出可衡量的业务成效，而且预计很大一部分智能体项目将被取消。我们认为，这在很大程度上是一个衡量问题：公共基准回答的是“模型能做什么？”，而部署决策需要回答的是“在这里、基于我们的数据、受我们的控制，这个工作流程是否适用、可靠、安全，并且值得扩大规模？”我们提出 EnterpriseVal，这是一个在用例层面进行评估的系统，旨在弥合这一差距。该系统包括：（i）对待评估用例及其冻结的社会技术配置进行形式化规范，其中涵盖模型、提示词、检索、工具、防护措施和人工监督，并通过自主程度与后果等级共同确定所需的评估强度；（ii）一个涵盖保真度、效用、效率、可靠性、保障与监督的指标目录；（iii）一种评分协议，通过预测驱动推断，结合经过校准的 LLM-as-judge 评分，扩大盲审专家判断的规模；（iv）一个以可执行算法形式表述的两级阈值门控机制，将带有置信区间的指标向量映射为 REJECT/CONDITIONAL/SCALE 决策；以及（v）一个将审查者发现率作为测量参数的价值与风险模型。我们报告了在一家全球性银行的三个工作流程上开展的试点结果。在信贷备忘录起草流程中，最佳模型的人工评审引用精确率达到 88%，幻觉率为 1.6%，而门槛分别为 70% 和 5%；在流程转换中，分析师对每份文档进行完善所需的时间从预计的 27.4 小时降至 2.9 小时。我们区分了已确立的结果、有文档记录的试点证据、所提出的系统以及尚待验证的假设，并明确了完成全面验证所需开展的实验。