arXiv cs.LG精选73

预测不等于校准:知识追踪中的题目参数恢复与表征耦合

Prediction Is Not Calibration: Item Parameter Recovery and Representation Coupling in Knowledge Tracing

· 1小时前

精选理由

揭示知识追踪中预测准确不等于题目参数可靠,并提出改进表示设计以提升参数恢复与跨顺序一致性。

AI 摘要

arXiv:2610.30211v1 公告类型:新论文 摘要:知识追踪(KT)模型可以通过仅针对下一次作答预测进行训练的题目反应解码器来估计题目参数,但预测准确性并不能保证参数恢复。我们研究了与 LSTM、Transformer 和 DKVMN 编码器配对的 2PL、GPCM 和 NRM 解码器。反应模型的导数揭示了为何区分度和选项斜率的更新直接依赖于估计能力的尺度与离散程度。仿射 logit 恒等式揭示了估计能力中随题目而异的平移与缩放如何被吸收到题目参数中,而不改变作答概率。在模拟实验中,采用打乱的题目顺序时,不同表征宽度下的难度、平均阈值和正确选项截距均保持较高的恢复水平;相比之下,区分度和正确选项斜率对比的恢复需要更宽的题目表征,并且在固定题目顺序下进一步退化。将序列题目表征(宽度为 $d_S$)与题目参数键(宽度为 $d_M$)分离,并将宽键与窄序列表征配对($\mathrm{SK}(64,8)$),可减少固定顺序下的能力失真,改善参数恢复和跨顺序一致性,同时相较于共享宽度为 64 的基线($\mathrm{SH}(64)$),既不牺牲测试准确率,也不增加模型规模。在 TIMSS 和 EdNet 上,增大 $d_M$ 始终能提高与离线 IRT 参考结果的一致性,而缩小 $d_S$ 所带来的权衡则取决于编码器在预测时对序列宽度的依赖程度。这些发现说明了为何必须将题目参数,尤其是区分度和选项斜率,与作答预测分开评估。

查看原文(arXiv cs.LG)