目标揭示：连接信息论赋权与基于能力的人类权力的桥梁

arXiv:2611.07247v1 公告类型：交叉收录 摘要：权力对 AI 安全至关重要。最优智能体在追求广泛的各类目标时，往往都会获取权力（工具性趋同）。随着我们将 AI 智能体嵌入社会技术系统，人类面临逐渐丧失权力的风险。这两方面的担忧都要求对权力进行形式化的定量度量。在 Markov 博弈中，两种这样的度量分别是信息论赋权，即从智能体动作到未来状态的信道容量；以及基于能力的个体权力，即一种目标达成度量，由人类在追求一组候选目标中的各个目标时能够达成该目标的概率构建而成。我们展示了两者的交汇之处。从个体权力出发，利用 Fano 不等式可得到一个下限 $B(s)$。这一下限是我们所称的目标揭示的下界，目标揭示即人类潜在目标与实际实现的轨迹之间的互信息 $\mathbb{I}(G;\xi \mid s)$。赋权则为揭示提供上界，因此有 $B(s) \le \mathbb{I}(G;\xi \mid s) \le \mathbb{I}(\mathbf{A}_h \to \xi \mid s) \le \mathfrak{E}_h(s)$。每个量都可能很大，而其下方的量仍为零，这凸显了以下失效模式。以最大化赋权为目标的助手，可能更偏好一种能对与目标无关的自由度施加广泛影响的界面，而非一种让人类能够达成其可能持有的每个目标的界面。以最大化揭示为目标的助手，无法区分正常运作的界面与经过重新连接、使每个目标都产生错误结果的界面，因为重新标记目标不会改变互信息，却会使所有目标的达成概率归零。因此，正向保证只能来自这一链条的目标达成端。通过交互日志中的两个统计量即可计算的满意度下限，为监测用户在已部署系统中保有的权力提供了一种方法；而随机环境中的仿真表明，这三个量虽然相关，却远不能互相替代。