算法偏见与高等教育：数据、隐私和伦理的挑战

人们对人工智能系统中算法偏见的危险性的认识正在增强。今年早些时候，一名42岁的底特律居民被错误逮捕，原因是人脸识别系统错误地将他的照片与安全摄像头录像中的图像进行了匹配。此类系统已被证明在黑人照片上的错误匹配次数多于白人同伴。

一些学者担心，高校使用的学习管理系统中的人工智能可能会导致学术环境中的误认，例如错误地将某些学生标记为表现不佳，这可能会导致他们的教授以不同的方式对待他们，或者对他们造成不利影响。

例如，流行的学习管理系统Canvas有一个功能，会标记迟交作业的学生，并在向教授展示的仪表板上显示，这些学生不太可能在课堂上取得好成绩，圣何塞州立大学教育学副教授Roxana Marachi说。然而，她设想了一些可能误认学生的情况，例如学生按时提交作业，但以替代方式（如纸质而非数字形式），从而导致错误匹配。

“学生们并不知道他们正在以教授们看到的方式被标记，”她说。

大学坚持认为，学者们在他们的研究工作中使用数据和研究对象时要非常谨慎，但在他们用于教学的工具方面却没有。她指出：“这是基本的研究伦理——告知学生他们的数据是如何被使用的。”

虽然Canvas不再使用该特定的红色标记功能，但Marachi表示，她担心高校和公司正在以不透明的方式试验学习分析，这可能容易受到算法偏见的影响。

在她最近发表在《高等教育教学：批判视角》杂志上的一篇学术论文中，她和一位同事呼吁“提高公众对预测分析的使用、算法偏见的影响、算法透明度的需要以及为被要求使用此类软件平台的用户的道德和法律保护措施的制定的认识。”这篇文章是专门探讨“高等教育中教学的数据化”的特刊的一部分。

在各高校和大学表示他们正在重申致力于打击种族主义的时期，数据正义应该放在首位，Marachi认为。“除非我们解决这个问题，除非我们设置护栏或消除即将造成的危害，否则我们正在建立的系统正在为制度性种族主义2.0铺平道路，”她补充道。

由Instructure公司生产的学习管理系统Canvas的领导者坚称，他们认真对待数据隐私，并且他们正在努力使他们的政策对学生和教授更加清晰。

就在三周前，该公司聘请了一位隐私律师Daisy Bennett来协助这项工作。她计划撰写一份该公司用户隐私政策的通俗易懂的版本，并建立一个公共门户网站来解释数据的使用方式。并且，该公司召集了一个由教授和学生组成的隐私委员会，每两到三个月开会一次，就数据实践提出建议。Instructure高等教育战略副总裁Jared Stein在接受EdSurge采访时表示：“我们尽最大努力与我们的最终用户和客户进行互动。”

他强调，Marachi的文章并没有指出数据对学生的具体伤害案例，并且学习分析功能的目的是帮助学生取得成功。“我们是否应该完全抛开可能出错的恐惧，而忽略提高教学和学习体验的可能性？”他问道。“或者我们应该尝试并继续前进？”

Marachi的文章提出了对Instructure当时的首席执行官Dan Goldsmith在一次Instructure收益电话会议上发表的关于一项新功能的声明的担忧：

“我们的DIG计划，首先是一个[机器学习]和[人工智能]平台，我们将通过提供预测算法和见解的不同功能领域来交付和货币化它。也许像学生的成功、保留、辅导和咨询、职业规划，以及许多其他将有助于提高机构价值或跨机构连接的指标。”

其他学者也关注了这一评论，指出公司的目标有时优先考虑将功能货币化，而不是帮助学生。

Instructure的Stein表示，Goldsmith“谈论的是数据可能实现的事情，而不是不一定反映我们实际构建的东西——他可能只是夸大了我们对数据使用的愿景。” 他表示，他在一篇博客文章中概述了DIG计划的计划和战略，该文章指出了其对“道德使用学习分析”的承诺。

至于对学习管理系统和其他工具导致制度性种族主义的担忧？“我们是否应该设置护栏？绝对应该。”

相互竞争的叙述

Marachi说，她与Instructure的员工谈论了她的担忧，并且她感谢他们愿意倾听。但她和其他学者提出的论点是对学习分析是否值得做的批评。

在关于大学教学数据化的期刊系列介绍文章中，来自爱丁堡大学的Ben Williamson和Sian Bayne，以及来自开普敦大学的Suellen Shay，列出了对在教学中使用大数据的广泛担忧清单。

他们写道：“学习的某些方面比其他方面更容易衡量，这可能会导致简单的、表面层次的元素在确定什么算成功方面扮演更突出的角色。” “因此，高阶、扩展和创造性思维可能会被那些倾向于公式化遵守静态标准的方法所破坏。”

他们将数据化置于他们所认为的商业化高等教育的背景下——作为一种填补政策决策造成的空白的方式，这些决策减少了对大学的公共资金投入。

他们认为：“这里存在明显的风险，即教学法可能会被重塑，以确保它‘适合’生成数据所需的数字平台，以评估学生的持续学习。” “此外，由于学生在定量类别中变得可见和被分类，它可能会改变教师对他们的看法，以及学生如何理解自己作为学习者。”

而且，由于COVID-19大流行而大规模转向在线教学，使他们的担忧“更加紧迫”，他们补充道。

介绍以呼吁更广泛地重新思考高等教育作为大学关注数据隐私问题而结束。他们引用了Raewyn Connell的著作《优秀大学：大学做什么以及为什么是时候进行根本性变革了》，该书“概述了‘优秀大学’的愿景，在这种愿景中，公司文化、学术资本主义和表演性管理主义的力量被拒绝，取而代之的是民主、参与、创造性和可持续的实践。”

他们的希望是，高等教育将被视为一种社会公共产品，而不是一种产品。