智能体小世界网络集思广益,以支持构思
Small-world Networks of Agents Brainstorm AI Risks to Support Ideation
精选理由
通过多智能体小世界网络,帮助发现传统头脑风暴难以识别的新颖、系统性AI风险。
AI 摘要
参与式 AI 风险评估的构思阶段通常从一张白纸或一份有限的预定义风险清单开始,因此难以发现间接性或系统性危害。为应对这一局限,我们提出了一种由三个阶段组成的构思支持工具。该工具并不取代参与式 AI,而是对其进行补充,并帮助将后续参与活动聚焦于受影响的社区。首先,该工具根据给定的 AI 使用场景动态发现利益相关者,并递归地向外扩展,从而使那些容易被忽视的间接利益相关者浮现出来。其次,该工具使用 LLM 模拟这些利益相关者,将他们连接成具有给定拓扑结构的网络,并让他们围绕风险展开构思。第三,该工具使用网络中心性指标对风险进行优先级排序。在初步评估中,我们发现,通过连接在小世界网络中的智能体计算中介中心性效果最佳,因为这种方法提升了由连接彼此割裂群体的利益相关者提出的风险,从而发现传统方法经常遗漏的新颖且系统性的危害。在 AI 聊天机器人伴侣这一使用场景中,与单个 LLM 集思广益相比,该方法使所识别风险的新颖性提高了约 1.1 分;与智能体式 LLM 集思广益相比,提高了 0.5 分。该结果基于标准化的五点 Likert 量表测得,且并未降低所识别风险的合理性或严重性。为检验我们的框架是否能够帮助采用 Futures Wheel 方法开展的人工主导构思活动,我们在一次参与式 AI 风险评估中,将 11 个由非西方年轻聊天机器人用户组成的团队分为两类:对照组(团队)和处理组(团队)。对照组团队从初步评估中 45 名 AI 从业者生成的风险清单开始;处理组团队则从我们的框架生成的风险清单开始。总体而言,处理组团队识别出的风险更多,其中系统性风险、人机交互风险和环境风险也更多。