从计算机使用轨迹中归纳任务模型

自然发生的计算机使用轨迹，即被动记录的屏幕截图以及鼠标或键盘操作，是一种宝贵资源，可用于推导关于日常工作如何完成的符号化、可审计且可复用的模型。随着计算机使用智能体进入真实工作场景，这类模型变得重要，因为智能体需要学习任务实际上是如何执行的，而组织需要审计并复用这些知识。然而，归纳此类任务模型具有挑战性，因为活动只能以低层级事件的形式被观察到，而现实世界的工作具有多线程特征，目标相互交织。现有方法假设已给定某个任务或单一工作流，并生成步骤级摘要，而非结构化任务模型。我们提出 Task Model Induction (TMI)，它 (i) 在不受约束的轨迹中发现潜在任务，解缠并发活动；并且 (ii) 针对每个潜在任务，归纳一个任务模型，将递归目标分解的层次化目标模型与组织执行的控制流过程模型配对。在内在评估中，在受控的人类和智能体轨迹上，TMI 恢复交织任务时与真实分组达到 0.974 的一致性，并重建了 74.9% 的已观察执行步骤，远高于最强的工作流归纳基线。在外在评估中，从 TMI 的任务模型派生出的技能相比最强基线将留出任务准确率提高了 30.0%。