一个掌握度阈值并不适用于所有知识追踪模型

arXiv:2610.00095v1 发布类型：新 摘要：辅导系统使用掌握度阈值来决定学生何时可以停止练习并进入下一阶段，但当底层知识追踪（KT）模型发生变化时，同一个数值阈值可能导致截然不同的决策。我们在四个公开教育数据集上考察了六种 KT 模型，并使用推进后的表现、推进覆盖率、练习负担以及不同先前表现群体之间的差异，对从 0.50 到 0.99 的 12 个阈值进行了评估。我们还在预先设定的 30 种教学场景下，找出能够平衡表现、额外练习和推进的阈值。Bayesian Knowledge Tracing（BKT）对阈值变化相对不敏感，而随着阈值提高，神经模型会变得更加严格和有选择性。这在一定程度上反映了不同的模型输出：BKT 估计的是潜在掌握概率，而神经模型估计的是下一次作答正确的概率，因此同一个截断值并不代表相同程度的掌握。不同模型和场景下，实现最佳平衡的阈值差异很大。在一半的测试场景中，神经模型与 BKT 所选阈值的差异超过 0.10；不过，当更加重视减少额外练习并允许更多学生推进时，这一差距会缩小。更严格的阈值也未能可靠地缩小表现差距，反而可能不成比例地限制学生推进：先前表现较强的学生推进次数最多可达到先前表现较弱学生的 3.26 倍。这些结果表明，当 KT 模型或教学重点发生变化时，应重新校准掌握度阈值，并根据其对表现、练习、推进和学习机会的影响进行评估。