智能课堂助手：机器学习赋能个性化教学
这篇文章的原文发表于《Towards Data Science》。
当我在杜克大学普拉特工程学院开始教授数据科学和人工智能时，我对自己的教学效果实际上感觉了解甚少，直到学期末的期末考试成绩和学生评估结果出来。
作为一名新教师，我花时间阅读了关于教学最佳实践的文章，以及掌握性学习和一对一的个性化指导等方法如何能大幅提高学生的学习成果。然而，即使我的班级规模相对较小，我仍然觉得对每个学生的学习情况了解不够深入，无法为他们提供有用的个性化指导。学期中期，如果有人要我确切地告诉你某个学生迄今为止掌握了课程中的哪些内容以及他或她在哪些方面遇到困难，我将无法给你一个很好的答案。当学生来找我进行一对一辅导时，我不得不问他们需要什么帮助，并希望他们有足够的自我意识去了解。
我知道我在其他项目和大学的同事们所教的班级规模比我的大得多，我问他们对于每个学生在任何时间点的掌握程度了解多少。在大多数情况下，他们承认，直到最后的评估结果出来之前，他们也基本上是“盲目摸索”。历史上，教育中一个最令人困扰的问题是规模和可实现的教学质量之间存在权衡：随着班级规模的扩大，教师提供个性化指导的能力——学习科学研究表明这种指导是最有效的——就会降低。
然而，作为在线教育新世界的讲师，我们可以获取越来越多的数据——来自录制的讲座视频、电子提交的作业、讨论论坛以及在线测验和评估——这些数据可能让我们深入了解学生的个体学习情况。2020年夏季，我们在杜克大学启动了一个研究项目，探索我们如何利用这些数据来帮助我们作为讲师更好地完成工作。我们着手要回答的具体问题是：“作为一名讲师，我如何利用我可用的数据来支持我为学生提供有效的个性化指导的能力？”
识别学生的知识状态
我们想知道的是，对于班级中任何一个学生在学期中的任何一个时间点，他们掌握了哪些材料，他们在哪些方面遇到困难？知识空间理论模型由Doignon和Falmagne于1985年提出，并在后来得到了显著扩展，该模型认为，给定的知识“领域”（例如课程的主题）包含一组离散的主题（或“项目”），这些主题通常相互依赖。学生迄今为止掌握的一组主题被称为他们的“知识状态”。为了给整个班级提供有效的教学，并为个别学生提供个性化指导，了解每个学生在任何时间点的知识状态至关重要。
那么，如何识别学生的知识状态呢？最常见的方法是通过评估——作业或测验和考试。对于我的课程，我每周都会使用低风险的形成性测验评估。每个测验包含大约10个问题，大约一半的问题评估学生对上周讲座中涵盖的主题的知识，其余一半的问题涵盖课程早些时候的主题。通过这种方式，我每周都会继续评估学生对整个课程主题的掌握程度。此外，我们还有每周的作业，测试到目前为止所涵盖的各种主题。
但是，深入研究数十或数百名学生的测验或作业问题的结果，以识别能够提供关于学生知识状态的见解的模式，并不是最容易的任务。有效的教师需要擅长很多事情——进行引人入胜的讲座，创建和批改作业和评估等等——但大多数教师也没有接受过数据科学家的培训，他们也不应该为了完成工作而必须这样做。
这就是机器学习发挥作用的地方。从根本上说，机器学习用于识别数据中的模式，在这种情况下，这项技术可以用于通过学生在测验和作业中的表现模式来识别学生的知识状态。
构建智能课堂助手
为了帮助改进我自己的教学以及杜克大学AI产品创新硕士项目中的其他教师，我们着手开发一个系统，该系统可以根据一组课堂测验和作业结果以及一组学习主题，在任何时候识别每个学生的学习状态，并将这些信息呈现给教师和学习者。这将促进教师更有效的个性化指导，并提高学生对其需要在学习中投入更多关注的领域的认识。此外，通过汇总整个班级的信息，教师可以深入了解班级在哪些方面成功地学习了材料，以及他或她需要在哪些方面加强某些主题。
该项目最终创建了一个名为“智能课堂助手”的原型工具。该工具读取教师提供的课堂测验或作业结果以及课程到目前为止涵盖的一组学习主题。然后，它使用机器学习算法分析数据，并向教师提供三个关于以下方面的自动化分析：班级在哪些测验和作业主题上遇到困难；班级已经掌握和尚未掌握的学习主题；以及每个学生的表现。
开发该工具的关键挑战之一是将测验和作业问题映射到最相关的学习主题。为了实现这一目标，我开发了一种自定义算法，该算法使用自然语言处理，并借鉴开源库来理解每个问题的上下文，并将其映射到它旨在评估的主要学习主题。
试用该工具
智能课堂助手工具是在我在杜克大学教授“数据分析的来源”课程时构建的，这是一门针对研究生工程学生的入门级数据科学课程，涵盖技术以及监管和伦理主题。这让我有机会在学期进行时在我的班级中试用该工具。
我想评估的关键事项之一是该工具背后的算法将每个测验或作业问题分类到课程中涵盖的20个学习主题中最相关主题的准确程度。在学期中我使用的全部85个测验问题中，该算法大约82%的时间正确识别了相关的学习主题。虽然并不完美，但这足以使该工具提供的分析对我有用。
在课程中，我主要通过两种方式使用原型来为我的教学提供信息。我在讲座课上花费额外的时间来涵盖学习主题和工具标记出的特定测验问题，这些问题是由于学生的表现不佳造成的。在与学生的单独辅导课上，我使用了该工具的个性化学生分析模块来了解学生需要额外加强的地方，并使辅导课更有针对性。
现在就量化该工具是否改变了学生的学习成果还为时过早，因为我使用的课程是新的，这意味着没有历史基准可以进行比较。但今年，我们正在扩大该工具的使用范围，并致力于评估它对学生参与度和表现的影响。我们正在另一门25名学生的工程课程和一门200多名学生的本科金融课程中进行试用。我还计划在我的春季机器学习课程中使用该原型来指导我的教学。由于学生可以从看到该工具的分析结果中获益，就像教师一样，因此，在春季，我们希望增加一个学生门户网站，允许学生查看他们自己的结果，并根据他们确定的知识状态为学生提供个性化的学习建议。
现在讲师可以获得的大量电子数据可以帮助支持他们的教学。但教师（通常）不是他们自己的数据科学家，需要分析工具来帮助他们从数据中提取价值。然而，虽然这些工具很有帮助，但它们的价值与教师定义课程学习目标以及构建材料和评估以支持和评估这些目标的程度成正比。
诸如智能课堂助手之类的机器学习工具不仅可以帮助教师提高他们的课堂质量（以学生的学习成果衡量），还可以使他们以更大的规模做到这一点，从而有望实现广泛的个性化教学。当教师能够更有效地教学时，学习者就能学到更多，作为社会，我们都将从中受益。