VoCa：为基于语音的对话代理设计语音—画布交互

人们在说话的同时进行书写和绘图，以共同解释、组织和创作内容。受这些实践启发，我们研究了语音代理如何在与用户的多轮对话中，将画布与语音结合使用。我们开展了一项由两部分组成的形成性研究：首先通过观察研究探讨两人如何协调语音与板书，随后开展设计研讨会，并据此构建语音代理语音—画布交互的设计空间。在这些研究发现的基础上，我们开发了 VoCa——一种能够协调语音与视觉对象创建、注释和注意力引导的语音代理。通过对 18 名参与者进行为期五天的部署研究，我们考察了可用性、语音—画布交互体验、使用模式以及期望的改进方向。参与者的体验凸显了语音—画布交互在学习、工作和日常生活中的应用机会，同时也揭示了如何协调代理所说和所展示的内容，使用户能够跟随并影响交互过程所面临的挑战。这些发现为语音代理如何在对话中将画布与语音结合使用提供了参考。