评估预训练模型对新型 AI 辅助教育问题进行教学评估的能力

AI 辅助教育材料生成的激增速度已经超出了我们验证其教学质量的能力。使用 Bloom Classifier 模型进行自动化评估，是大规模评估教育材料的一种有前景的方法。这些模型在分布内数据集（IID Dataset）上表现出很高的准确率。然而，将同一模型应用于新的分布外（OOD）数据集（例如 AI 辅助生成的问题）时，性能可能会下降。为了识别能够应对数据集分布变化的稳健分类器，我们在布卢姆层级分类任务上评估了传统机器学习（ML）、transformer 和大语言模型。我们还探索了结合 NLP 指标的特征工程策略、将学习目标附加为输入的一部分，以及文本拼接，以稳定模型在 OOD 数据上的性能。基线测试显示，与 BERT（0.55）和 LLMs（0.79）相比，TFPOS-IDF ML 模型在 OOD 数据上的表现较差（宏 F1 分数为 0.48）。文本拼接提升了 ML 和 BERT 模型的宏 F1 分数表现，分别达到 0.59 和 0.62。将学习目标附加到输入中，提高了模型在特定数据集上的性能。重新训练模型为各模型和数据集带来了最大的提升。总体而言，这些发现凸显了在新型 AI 辅助教育问题中使用预训练模型所面临的权衡，也表明有策略地增强特征有助于弥补性能损失。