TUPLE-Bench:评估和缓解类型化决策模型中的隐私—效用权衡
TUPLE-Bench: Evaluating and Mitigating Privacy-Utility Trade-offs in Typed Decision Models
精选理由
揭示决策模型概率与置信度字段的隐私泄漏风险,并提供兼顾效用的量化防护方案。
AI 摘要
类型化决策模型通常返回的不只是一个选定类别,还会为每个候选项提供概率,有时还会提供一个单独的置信度分数。这些字段支持下游决策,但可能泄露超出接收方授权范围的信息。我们推出 TUPLE-Bench(Typed decision models' Utility and Privacy Leakage Evaluation Benchmark),这是一个由成对合成案例组成的基准,其中接收方可以获知粗粒度的操作类别,但不能获知其细粒度原因。在九个模型中,要求模型隐瞒原因的指令未能有效保护该信息:91.88%–99.93%的响应会通过直接选择结果或残余分数泄露原因。即使将原因排除在候选集合之外,完整输出仍能在留出案例上实现62.85%–75.35%的恢复率,而仅使用选定类别时的恢复率为51.04%–57.64%(50%的随机猜测概率)。在全部27个模型—任务比较中,完整输出还会降低下游平均成本。然而,置信度字段会增加泄露,却未能持续降低成本。我们进一步提出工作流约束隐私量化(WCPQ),在保留指定下游工作流的行为和成本的同时,减少秘密信息恢复。我们的研究结果凸显了逐字段、逐工作流审计决策接口的必要性。