arXiv cs.AI精选73

交接问题:人机协作中自主权转换的治理

The Handover Problem: Governing Autonomy Transitions in Human-AI Collaboration

· 6天前

精选理由

提出可审计的多信号框架,帮助人机协作在风险变化时稳妥调整 AI 自主权。

AI 摘要

人机系统很少在固定的人工智能自主程度下运行。随着操作人员与人工智能系统持续协作,控制权必须随之转移:协作稳定时,人工智能可以承担更多责任;证据不明确时,维持当前角色;条件恶化时,则将控制权交还给人类。现有关于自适应自动化、监督控制、自动化信任以及技能退化的研究解释了这一问题的部分方面,但尚未提供可审计的多信号判据,用于治理多周期工作流程中自主程度应何时发生变化。我们将这一挑战形式化为交接问题:在每个运行周期,决定是提高、维持还是回退人工智能的自主程度,同时确保这一过程可逆、可恢复且可审计。我们提出交接就绪度评分(HRS),这是一项透明的综合指标,整合了四个信号维度:操作人员就绪度、人机信任、学习稳定性和运行绩效。该指标与基于滞回的转换策略相结合,要求在提高自主程度之前获得持续的正面证据,但在条件恶化时及时回退。在软件工程和制造领域,HRS 与硬性安全防护机制分别应对互补的失效情形:当单一指标突破临界阈值时,防护机制会强制立即采取纠正措施;而 HRS 则检测操作人员就绪度在多个信号上呈现的缓慢衰退,这种衰退无法被任何单一防护机制察觉。该框架将自主权交接确立为一个需要明确、综合且可审计判据的治理问题,从而提供了以往自适应自动化研究尚未提供的概念和形式化基础。

查看原文(arXiv cs.AI)