预测与理解前沿人工智能系统失控的行为框架

前沿人工智能（AI）系统正日益在更长的时间跨度内运行，而人类监督不断减少，这加剧了失控风险：系统的行为超出人类的有效控制，并可能造成不可逆转的后果。由于此类失效可能直到难以遏制时才显现，因此必须对其进行前瞻性评估。我们提出了一个行为框架，将失控风险分解为三个因素：动机不对齐、促成危害的能力以及规避监控。我们通过13个可测量维度和29项评估任务，将这些因素转化为可操作的指标，并将各项得分合成为单一的失控（LoC）得分。在13个前沿模型中，LoC得分表现出较强的前瞻性效度，与受控环境中长时程风险情境下的失效率高度相关（Pearson r = 0.84）。不同模型的风险呈现系统性差异，且无法仅用能力加以解释。我们进一步表明，该框架能够指导有针对性的缓解措施：针对已诊断出的薄弱环节开展微调和监控，可在基本保持通用性能的同时降低失效率。这些结果为在失控风险成为现实之前预测、理解和缓解此类风险提供了切实可行的基础。