不要扩展,而要分解:通过构造实现能力无关的 AI 系统
Decompose, Don't Expand: Capability-Independent AI Systems by Construction
精选理由
提出先分解后扩展的方法,降低系统对模型规模的依赖并提升可靠性
AI 摘要
在构建 AI 系统时,一个反复出现的设计选择是:当某项任务对模型来说过于困难时,是扩展模型(让模型更大、提示更完善或进行微调),还是分解任务(将其中可以确定性解决的部分提取出来交给宿主,只把不可约的模糊残余留给模型)。我们提出三点主张。第一,许多通常被整体交给模型的任务,实际上都是包含一个小型生成核心的确定性任务。第二,也是我们核心的实证结果:分解此类任务会产生一种可测量且理想的性质,我们称之为“通过构造实现的同等性”:在被提取出的子任务上,模型规模—性能曲线会变平,因为这些子任务根本不由模型执行。我们在九个模型上对这一点进行了测量,这些模型涵盖了一个拥有 494M 参数的本地 checkpoint 和一个前沿 Opus 级模型;仅在本地模型系列中,参数规模跨度就达到 30 倍:一旦宿主解析了上下文,九个模型的操作选择得分完全相同,八个模型的选择器解析结果也完全相同;而唯一无法分解的任务——标注——在相同范围内仍呈现斜率。由于该任务被移出了模型,使用标准 checkpoint 即可:无需任务专用训练,也无需微调。第三,这是一种普适的设计规范,而非某个领域的技巧:我们展示了同样的做法如何反复出现在物理设置、动作重定向和对象模型编辑中,以及一个 Web-CLI 工具系列中(由同一作者完成,因此不构成独立复现)。我们给出了定位切分边界的方法、使切分得以存在的构造方式(一个确定性表面及其上的封闭语法),以及确保残余部分安全的方法(解析确定性上下文;验证生成式输出);同时将这项工作置于神经符号 AI、工具增强语言模型和生成—验证方法的背景下,并明确区分了实际测量的内容(一个领域)与用于说明的内容(其余部分)。