Curriculum Brain：构建课程知识图谱作为认知诊断的基础

认知诊断模型（CDMs）能够识别学生具体掌握和未掌握的技能，这是个性化学习路径所需、而单一汇总分数无法提供的信息。然而，这类模型很少得到部署。其障碍在于一个前置条件：Q-matrix，即将每一道评估题映射到其所需技能的矩阵，过去一直由人工编制。我们将这一任务拆分为两个阶段：首先构建课程自身的知识图谱，即课程所包含的概念和技能的完整空间，与任何题目无关；然后按需将题目映射到该图谱上。本文仅讨论第一阶段。题目映射阶段已完成设计，但尚未在本文中实现，因此，关于该方法将判断成本从每道题一次转移为每门课程一次的说法，是设计层面的依据，而非研究发现。我们介绍了 Curriculum Brain，这是一个由两个资源库组成的系统，将一个采用版本控制的知识库与一个由十一个单一职责代理构成的智能体流水线相结合，并由一个轻量的确定性编排器进行协调。该系统根据官方课程文件生成候选概念—技能映射，依据累积规则对其进行检查，并将其与从教材中独立提取的概念—技能映射进行比较；当出现失败时，系统会自行修复，只有在无法自行解决某个案例时才升级交由人工处理。在241次章节运行（涉及168个不同章节）中，41.5%的运行生成了通过两项检查且无需修补的 Generator 输出，67.6%的运行在无需升级的情况下得到解决。这两项指标均依据系统自身生成的标准进行衡量，因此反映的是内部一致性，而不是与外部标准的一致性；并且，两项指标都汇总了两种流水线配置的数据，这两种配置在第77次运行时因一次改动而分开。改动之后，这两个数字分别为57.0%和91.5%。观测到的支出为每章1.19美元，仅计入 API 支出，不包括人工审核成本。我们同时发布该框架及由此生成的课程数据集。