类型安全并非无错误:受约束的决策头遵循选项名称,而非与其绑定的判定准则
Type-Safe Is Not Error-Free: A Constrained Decision Head Follows the Option Name, Not the Rubric Bound to It
精选理由
揭示类型安全模型会被选项名称牵引而偏离评分标准,提醒系统设计者重视语义偏置。
AI 摘要
类型化决策模型旨在应用于模型输出会被软件直接消费的场景。它们不生成自由格式文本,而是从预定义的选项集合中返回一个决策。按照设计,每个输出都符合所要求的模式。然而,这一保证并不能说明模型是否按照预期理解这些选项。我们通过改变选项名称与判定准则的对应关系,研究了 Jev 及两个采用开放权重的 Jev-like 模型。每个选项由一个选项名称和一段定义该选项含义的文本判定准则组成。我们只改变每条判定准则所对应的选项名称;问题、状态、判定准则措辞以及选项名称集合均完全不变。在包含任务特定判定准则的 1200 个工作流决策中,将两个选项的名称从 0/1 重命名为 no/yes,每百个答案中会额外改变 70.4 个(95% 置信区间:[67.6, 73.1]),并使 AUC 从 .94 变为 .23,表明决策排序发生了系统性反转,而非仅仅是不确定性增加。使用中性选项名称时,同样的操作影响很小。这一模式在全部 4 个谓词上都成立,其影响至少是中性对照条件下的 7.4 倍,并且随着选项数量增加而增强。该影响还取决于读出几何:另一个对整个选项跨度进行均值池化的模型系列,其翻转频率降低了 4.1 倍。托管模型也表现出相同的行为:交换名称会使 AUC 从 .8146 变为 .5806,并产生数量为重测误差下限 24 倍的答案翻转。相比之下,将选项名称替换为随机字符字符串后,所有模型系列都会回到中性对照条件的水平,同时准确率并未下降。因此,该失败现象取决于选项名称的语义极性,而非重命名操作本身。在所有条件下,类型错误率始终为 0%,即使决策准确率大幅下降也是如此。