一套用于 EU AI Act's Code of Practice 下系统性风险证据的开放式流程与仪表板

关于 AI 安全的论断触达的受众远远超出 AI 社群，但其中许多论断依赖不透明的证据或静态评估，而在证据确实可获取的情况下也常常如此。我们提出了 Systemic Risk Index，这是一个开放式评估流程与仪表板，旨在让实证证据对公众而言更加透明且可追溯。我们的工作将 19 个公开基准组织为 EU GPAI Code of Practice 所定义的四类系统性风险——CBRN、网络攻击、危害性操纵和失控——并使用保持危害的扰动以及模拟部署环境对模型进行评估。交互式仪表板允许用户在平均聚合和最坏情况聚合之间切换，调整模型能力对聚合得分的影响方式，并将每个风险评级追溯至其基准证据。在 18 个模型中，采用最坏情况聚合后，得分下降了 14 至 37 分，凸显出模型风险的平均评估可能掩盖的信息。LLM 评判结果与人工评分者的一致性与人工评分者之间的一致性相当（$κ= 0.78\text{--}0.82$）；盲审发现，抽样转换中有 $83\%$ 保留了原始危害。在一项调查中（$N = 21$），大多数参与者表示分数易于理解，并且仪表板促使他们在不同设置下查看模型评估