通过训练进行编译:将自然语言规范转化为本地神经函数
Compile by Training: Turning Natural-Language Specifications into Local Neural Functions
精选理由
帮助把自然语言需求编译成可复用的本地神经函数
AI 摘要
许多重复出现的文本功能很容易描述,但难以用规则实现;而对每个输入都调用一个大型远程模型则会带来重复成本、延迟,以及对服务提供方的依赖。我们提出 compile by training,它将自然语言规范转化为可复用的神经函数。在编译时,教师模型生成针对任务的示例,用于训练一个紧凑解释器的小型适配器。生成的函数无需教师模型即可运行,并且可以像普通软件一样存储、版本化和组合。在 FuzzyBench-Hard 上——这是 Program-as-Weights 的快速编译器没有产生任何精确匹配结果的一个子集——compile by training 达到了 83.6% 的语义准确率。这种更高的准确率伴随着更高的编译时成本:大约需要一分钟,而快速编译器只需几秒。我们将该编译器部署在一个公开的交互式服务中,并在多站点网站助手、语言控制的 3D 头像以及双向 English-Claudish 翻译器中展示了编译后的函数。