在有限交互下学习澄清不充分的意图

AI 助手会收到一些请求，其中缺少实现良好结果所需的信息，例如用户的偏好或目标。此时，它们要么进行猜测，要么在继续操作前询问更多信息。我们将这一问题重新概念化为信息价值问题：助手应获取那些因缺失而导致用户效用产生最大可避免损失的信息。这一点通常无法事先得知；相反，助手必须对其进行预测，从而在有限的用户交互次数下实现最优分配。我们在图像生成场景中具体化了这一问题，并利用多轮模拟用户构建了一个强化学习框架，以在不确定性下最大化效用恢复。在一项预注册研究中，76 名人类参与者进行了 456 次交互会话；该方法帮助用户以显著更少的问题、更短的总交互时间和更低的成本，更好地匹配参考图像。这表明，可以采用一种简单且可扩展的框架来训练语言模型助手，通过提出信息量更高的问题，更好地消除用户意图的歧义。