用于知识追踪基准与模型诊断的信息论评估框架

arXiv:2610.06988v1 发布类型：new 摘要：知识追踪（KT）模型主要使用曲线下面积（AUC）和准确率等聚合指标进行评估。然而，这些全局分数掩盖了剩余误差的来源，也无法表明某个基准是否正在接近饱和。在现实的KT场景中，估计全局理论性能上限具有挑战性，但量化局部可预测性是可行的。为此，我们提出了一个用于KT基准诊断的信息论评估框架。我们在题目—作答历史和当前题目查询上使用Context Tree Weighting（CTW），将其作为一种可操作的因果不确定性坐标，同时将其与完整KT信息集下未观测的局部不可约不确定性（Local Irreducible Uncertainty，LIU）区分开来。通过将预测投影到这一共享不确定性坐标上，我们在不同熵区间内评估模型性能增益，而不仅仅是在全局层面进行评估。在NIPS Task 3/4和Algebra 2005上的全面评估表明，模型改进具有高度不均匀性。现代KT模型在高熵区域取得了显著增益，此外，题目感知的参照方法、对数损失和等频分析也支持了这种局部化现象。该框架还指出了一些表面增益可能需要检查其对噪声敏感的行为的区域。通过将这些局部建模失败与真实增益同时呈现出来，该方法为研究剩余预测结构以及当前KT基准和模型的局限性提供了诊断工具。