Penumbra：面向监管义务的高样本效率对抗性搜索

智能体正进入金融、医疗保健和法律等领域，在这些领域，违规行为不会留下任何词汇层面的特征，却会带来切实的处罚。某项遗漏是否具有实质性，或某项披露是否充分，取决于回答遗漏了什么。探查此类义务，意味着寻找只需一次最小编辑就会从合规翻转为不合规的回答；而每次探查都要付出一次生成和两次裁决的成本，因此监管红队测试的关键约束是样本效率，而不是数量。我们提出 Penumbra：一种对抗性搜索方法，从经过验证的锚点出发，在不断扩大的编辑预算下进行搜索，直到由两个评估器组成的委员会改变判定，并输出跨越这一变化的两个相邻回答。资源分配是自适应的，目标是覆盖“失败边界”：每个候选对象中得到解析的不同（义务 × 失败模式）单元格数量。在预算相同的情况下，自适应分配在 59% 的候选对象上达到了均匀分配在完整预算下的覆盖率；在记录数相同的情况下，它覆盖的失败模式数量是朴素枚举的 1.43 倍，而且这一增益仅限于其针对的轴。在一个包含 60 项经筛选的金融咨询章程义务的数据集上，Penumbra 返回了 144 对回答；每一对都包含一个合规回答和一个违规回答，委员会将二者判定在边界的两侧。它们只相差寥寥数词，而当直接要求模型同时生成这两种回答时，生成的文本几乎没有任何共同之处。第二个用于临床分诊的章程在 18 项义务上复现了这一结果：以同样的严格程度得到 49 对回答，且最难发现的仍是相同的失败模式。这样的回答对揭示了义务自身的措辞何时不再足以作出判定；这正是部署在该义务约束下的智能体必须接受的测试，而该搜索以一种成本随边界而非文本规模增长的方式找到了它们。