VERA：依据《欧盟人工智能法案》评估大语言模型部署的负责任人工智能仪表板

在受监管环境中部署大语言模型的机构，往往需要在批准部署之前获得负责任人工智能实践的技术证据。COMPL-AI 对《欧盟人工智能法案》提供了技术层面的解读，将这些证据归入六组原则和十八项技术要求，其中十二项可通过现有基准测试进行衡量。生成这些证据的基准测试套件通常通过命令行运行，而批准部署的人员并非工程师。我们推出了 VERA，这是一个开源、自托管的仪表板，已部署于一家欧洲大型银行，以支持其负责任人工智能流程。评审人员选择一个模型，并对其运行公开基准测试。VERA 对现有基准测试能够衡量的十二项要求进行评分，并监测每次评估的能源消耗，从而补充运行级别的环境影响证据。我们让四个已部署为服务的开放权重模型通过技术要求评估流水线，仪表板则显示每项可衡量要求的得分。随后，一项被试内研究比较了参与者在两种条件下阅读这些基准测试结果的情况：一种是直接阅读原始输出文件，另一种是通过 VERA 仪表板查看。仪表板缩短了开展负责任人工智能评估所需的时间，将平均用时从使用原始文件时的 56 秒降至使用仪表板时的 30 秒。在该组织内部开展的调查中，我们的仪表板在实用性方面获得了较高评分（满分 5 分，得分 4.36 分）。仪表板和研究材料均已公开发布，以促进在不同组织环境中的可重复性与可复现性。