可靠的智能体需要硬性规则与模糊规则

语言模型让软件能够读懂自然语言请求，但它们遵守规则的方式与人相似：通常会遵守，承受压力时则不那么可靠。传统代码能精确遵守规则，却无法读懂请求。我们认为，可靠的智能体需要兼具两者，因为这两类规则所覆盖的智能体潜在行为空间既有重叠，又不完全相同。代码守住能够精确表述的边界，而学习得到的模糊规则则处理无法精确表述的判断。我们在采购、权限委托和数据访问三个领域，使用由团队外部作者编写的 1,340 个情境，对硬性规则层进行了测试。在让模型自行决策时，它们在 340 个采购情境中最多执行了 151 次未经授权的操作，在 470 个权限委托情境中最多执行了 269 次，而能力最强的模型在每种测试条件下都出现了违规。在提议与行动之间设置硬性防护层后，没有任何未经授权的操作被执行；对 183,204 项提议的穷举搜索也得出了相同结果。在进一步测试中，由一名外部人员编写所有者的规则，再由程序将其映射到防护层；其中有两个情境在我们事先记录的边界处出现了违规。随后，我们测试了两者的组合。Concept Programming 将一条具名规则植入模型，并用模型从未见过的措辞来测量其错误。通过这种方式学会四条判断规则的小模型，识别出了 96 笔任何精确规则都无法识别的违规采购中的 95 笔，同时将 108 项合法请求中的 4 项标记为违规。将该模型置于防护层之前后，192 项违规请求中仅有 1 项未被拦截，而仅使用防护层时，未被拦截的请求数分别为 77 项和 70 项；与此同时，防护层仍守住了所有精确界限。通过提示引导的前沿模型表现也大致相当，因此，我们的主张是：教给小模型的一条规则足以胜任这项工作，而不是说它做得更好。