Generative Tutorial：迈向面向物理任务的实时情境化视觉指导

物理任务的视觉指导通常在一种情境下编写，却在另一种情境下执行，因此用户需要将演示中的工具、材料和空间关系转换到自己的环境中。我们提出 Generative Tutorial，一种实时视觉指导的概念框架，能够在用户所处的环境和任务流程中呈现预期结果与操作。我们对最先进的图像和视频生成技术进行了形成性评估，考察其在 15 项物理任务中的失败情况与潜在优势。在此基础上，我们构建了一个增强现实原型系统，利用观测到的工作空间情境以及对前序操作视觉结果的预测，主动生成目标图像和演示视频。一项包含 24 名参与者的实验室研究发现，与预先编写的指导相比，使用该系统能够获得更高的任务完成质量、更强的感知工作空间对应性，以及更短的步骤确认间隔。定性研究结果凸显了情境相似性如何塑造信任、生成错误如何影响理解，以及指导呈现应如何适应用户需求，并为未来的设计提供了依据。