目标揭示：连接信息论赋能与基于能力的人类权力的桥梁

权力对 AI 安全至关重要。最优智能体在追求各类目标时往往都会获取权力（工具性趋同）。随着我们将 AI 智能体嵌入社会技术系统，人类面临逐渐丧失权力的风险。这两方面的担忧都要求对权力进行形式化的定量度量。在马尔可夫博弈背景下，有两种这样的度量：信息论赋能，即从智能体行动到未来状态的信道容量；以及基于能力的个体权力，即一种目标达成度量，由人类在追求一组候选目标中的每个目标时能够达成该目标的概率构建而成。我们揭示了这两者的交汇之处。从个体权力出发，利用法诺不等式可得到一个下限 $B(s)$。这个下限是我们所称的“目标揭示”的下界，目标揭示即人类的潜在目标与实际产生的轨迹之间的互信息 $\mathbb{I}(G;ξ\mid s)$。赋能则为目标揭示设定了上界，因此有 $B(s) \le \mathbb{I}(G;ξ\mid s) \le \mathbb{I}(\mathbf{A}_h \to ξ\mid s) \le \mathfrak{E}_h(s)$。每个量都可能很大，而其下方的量仍为零，这凸显了以下失效模式。最大化赋能的助手可能更偏好一种能广泛影响与目标无关的自由度的界面，而不是一种让人类能够达成其任何潜在目标的界面。最大化目标揭示的助手无法区分正常工作的界面与被重新配置后导致每个目标都产生错误结果的界面，因为重新标记目标不会改变互信息，却会使每个目标的达成概率归零。因此，正向保证只能来自这条链的目标达成端。一个可由交互日志中的两项统计量计算得出的满足度下限，为监测用户在已部署系统中保有的权力提供了方法；而随机环境中的仿真表明，这三个量虽有相关性，却远不能相互替代。