AI 智能体何时应该提问?人类注意力有限条件下的澄清请求
When Should AI Agents Ask? Clarification Requests Under Limited Human Attention
精选理由
帮助多智能体在共享有限人工注意力时协调提问与自主搜索,降低任务成本并提升完成效率。
AI 摘要
AI 智能体越来越多地并行执行委派任务,由一个人同时监督多个智能体。在实践中,智能体往往缺少完成任务所需的信息,例如未明确表达的偏好、约束或具体要求。它可以请求人类澄清,也可以自行查找信息,例如查阅历史记录,但这需要耗费时间和精力,而且可能失败。本文研究如何在共享同一位注意力有限的人类的多个智能体之间协调这些决策。我们构建了一个简化模型,其中每个智能体都可以查找信息、提问,或继续执行任务中不依赖缺失信息的部分,并将该问题表述为动态规划问题。我们首先证明,智能体是否应该提问,不仅取决于自身的不确定性:对于还有其他工作可做的智能体,提前提问可能更有利;而人类应该先回答哪个问题,取决于所有等待回答的问题,因此,逐个智能体独立计算得出的排序无法达到最优。随后,我们提出 Pairwise Coordination Policy(PCP),利用单任务和双任务问题的精确解,估计成对任务在共享同一位人类时如何相互延误。在理论上,当尚未解决的需求最多为两个时,PCP 能够达到精确最优;当每个尚未解决的需求都必须由人类解决时,其成本至多为最优成本的两倍。我们在 864 个合成案例以及一个使用 LLM 智能体的案例研究中评估了 PCP。在合成基准测试中,PCP 与最优成本的平均差距为 0.07%;相较于三种决定何时提问的标准规则,它平均降低了 18–31% 的成本。在 LLM 案例研究中,智能体正确完成了所有任务,且 PCP 在所有测试设置下均实现了最低的平均成本。