StudentBench：AI辅导与人类辅导带来相当的GRE学习增益

人工智能为增强人类能力提供了前所未有的机遇，但前沿进展主要集中在提升模型能力上。我们推出了StudentBench，这是一套AI教学评估工具及公共平台，支持大规模数据收集，已收集超过175,000条学生与AI之间的消息，用于研究大型语言模型（LLMs）能否带来与人类辅导相当的学习增益。借助StudentBench，我们测量了2,383名参与者在接受AI辅导、人类辅导或不接受辅导的情况下，在GRE数量和语言题目上的学习增益。我们证实，就GRE学习增益而言，AI辅导在统计上等同于专家级人类辅导（p = .015）；在七个GRE领域中的五个领域，表现最佳的AI辅导者平均超过了人类辅导者。在第二项研究中，专家级人类辅导者通过2,028次成对量表评估，对LLM生成的课程计划和练习题进行了比较。两项研究共同清晰地区分了AI辅导者在以下方面的表现：（1）课程规划；（2）练习题创建；（3）对话式教学；（4）成本；（5）参与度。令人意外的是，其中一个AI辅导者实现了与人类辅导相当的学习增益（p = .044），而成本仅为人类辅导的九百一十八分之一（每提升一个百分点，AI成本为0.0052美元，人类成本为4.81美元）。对于GRE数量部分的学习环节，更快的AI回复速度与更多的学生消息相关，更多的消息与更多的正确练习相关，而更多的正确练习又与更大的学习增益相关（所有p < .002）。StudentBench平台可在https://studentbench.org免费使用。