迷失于回退:类型化决策模型使用回退选项的可靠性如何?
Lost in the Fallback: How Reliably Do Typed Decision Models Use Fallback Options?
精选理由
揭示决策模型执行兜底规则及保持逻辑等价规则判断一致性的可靠性缺口,为改进模型评估与设计提供依据。
AI 摘要
类型化决策模型(TDMs)正日益广泛地应用于请求路由和模型选择等场景,因此,可靠的决策对系统性能至关重要。回退选项用于容纳常规选项之外的类别,使系统能够将决策交由人类专家或能力更强的模型处理。尽管近期研究考察了 TDMs 面对对抗性攻击时的脆弱性,但对于其在非对抗性场景下遵循回退规则的能力,仍缺乏充分探索。我们提出 Paired Fallback Robustness(PFR)测试,从两个方面评估回退可靠性:模型能否在常规选项与回退选项之间正确切换,以及在同一规则的逻辑等价定义下能否做出一致决策。我们在三个基准上评估了开源决策模型,并对不同架构和参数规模进行了受控比较。我们发现,正确识别并不能可靠地转化为正确选择回退选项,即使明确提供了正确类别,错误仍然存在。此外,同一回退规则在逻辑上等价的不同表述,也可能导致模型决策出现显著分歧。这些发现揭示了当前 TDMs 在可靠性方面的一个关键缺陷:旨在提高可靠性的回退机制反而可能引入错误。这表明,忠实执行回退规则,以及在等价定义下保持一致性,是实现可靠的类型化决策的必要条件。