通过层次化流程理解改进主动式 AI 辅助

arXiv:2610.06505v2 公告类型：替换 摘要：主动式 AI 助手持续观察用户活动，并决定是提供新的指导还是保持沉默。它们应针对任务提供适当的指导，根据任务进度确定何时提供下一条指导，并根据用户的专业水平和需求调整指导层级。支持这些能力需要能够反映流程结构、并体现指导应如何随任务进度和用户需求而调整的训练与评估数据。然而，现有数据集要么侧重于基于检测的主动式理解，要么仅提供固定粒度的流程指导。固定粒度指导所提供的细粒度进度和更宏观流程上下文信息有限，因此难以判断任务是否完成，也难以调整指导粒度。为解决这些局限，我们提出 ProactiveCoach 套件，包括用于训练的 ProactiveCoach-Instruct、用于评估的 ProactiveCoachBench，以及配备自适应指导系统的微调视觉语言模型（VLM）。ProactiveCoach-Instruct 提供阶段、步骤和动作三个层级的层次化指导，用于学习任务进度和流程上下文。ProactiveCoachBench 评估模型能否在不同指导层级下于恰当时机提供适当指导，以及能否在所请求的层级发生变化时进行适应。我们在 ProactiveCoach-Instruct 上对预训练 VLM 进行微调，并验证了其在不同骨干模型上的有效性。与固定粒度监督相比，层次化监督在不同骨干模型上带来的整体性能提升最高达 9.6 个百分点。我们进一步将微调后的模型与轻量级指导路由器相结合，构建了自适应指导系统。无需额外微调，我们的系统在四种指导层级转换中的表现比上下文内适应基线高出 57.1 个百分点。项目页面：https://jinsuby.github.io/ProactiveCoach/。