谨慎裁判：安全高效的人类-AI协同决策

arXiv:2610.09043v1 公告类型：cross 摘要：在人类-AI协同决策中，人工审核可以防止 AI 做出不安全的决策，但每次人工判断都代价高昂。将 AI 弃权后的人工干预视为一次性备用方案，会错失改进未来 AI 决策、实现更高程度自动化的机会；然而，AI 从选择性查询获得的人工反馈中进行自适应学习，又会破坏针对旧模型校准的安全防护机制。我们通过 CARE——经校准的自适应纠正与升级——应对这一挑战。CARE 是一种端到端流程，将 AI 模型与人工审核员相结合，在保证决策安全且符合人类判断的同时，持续从人工反馈中学习，以更少的人工查询实现更高程度的自动化。CARE 具有理论依据、通用性和模块化特征，并且适用于任何黑盒 AI 模型。我们提出的新型自适应校准模块能够为任意纠正模块保证每个时间步的风险控制。我们还展示了当 AI 模型训练良好且人类与 AI 之间的不一致具有明确结构时，CARE 如何提升查询效率。在涵盖驾驶、语言和机器人技术的四个安全关键型真实世界数据集上的实验表明，与基线方法相比，CARE 在实现符合人类判断的决策的同时，将人工查询次数减少了 25%–81%。