从苦功到掌握
From Grind to Grasp
精选理由
提出衡量智能“做功深度”的框架,揭示学习、协作与自我改进的价值及风险。
AI 摘要
对复杂性、知识和智能的讨论往往忽视其中涉及的工作。例如,短程序生成的输出具有较低的算法复杂度,却可能具有很高的计算深度,即从近乎最短的程序生成它们所需的最少工作量。若要以更少的工作生成这些输出,可能需要更长的描述,从而产生较高的工作受限复杂度。我们提出了一种形式体系,用于比较在工作量和信息限制下取得的成果,并描述学习和坚持如何通过重复利用先前工作的产物,使深层成果变得浅显。对于工作预算有限的智能体而言,构建和维护此类资源的价值,取决于这些资源在后续任务中如何支持其目标。我们将“掌握度”定义为在固定信息额度下跨越不同工作预算的表现。掌握度较低时,仍可能通过在高工作成本下进行苦功而取得成功,但这未必能提升人类的掌握度。将这一概念应用于改进本身时,掌握度为递归自我改进提供了一项标准:后继者能够以更高效率进行同等程度的进一步改进。实现更快进步的另一条途径,是通过整个社会中的知识共享与协调,扩展可调动的资源,即使取得同等程度的进步仍需要不断增加工作量。掌握度同样适用于集合体:集合体的表现可能超过其成员,但其所需的总工作量也可能多于一个拥有这些成员全部资源的单一系统。建立并维持组织本身即使在主要任务简单时也可能是深层的。这些要求或许有助于解释生物系统和社会系统的丰富性。在智能体集合体中,这种组织工作可能产生超出既定任务的目标,包括维持集合体本身。因此,我们提醒不要让一个涌现的智能体社会承担社会协调的权力,因为它可能日益将工作导向自身的持续存在及其目标。