大学招生中的“成功”：算法、考试与定义

这个故事是与《石板》杂志共同发表的。

在互联网还没有普及，人们还不可能实时记录自己生活的时候，青少年们发现自己被永久地保存在他们的高中年鉴里——永远年轻。这些文物记载了社团和俱乐部、痤疮和牙套，捕捉了学生们当下的状态。

然而，许多年鉴也对未来做出了预测。有一个传统是向那些在毕业班中脱颖而出的学生颁发“最高荣誉”，例如“班级小丑”、“最爱卖弄风情的人”和“最会运动的人”。这些奖项大多反映了无伤大雅的青少年烦恼，但有一个特别的最高荣誉感觉更像成年人的世界，更有后果（也许不那么有趣）：“最有可能成功的人”。

这个头衔不是给最聪明的孩子或最受欢迎的孩子——有单独的类别来区分这些。不，这个头衔是给那些前途无量的学生，他们的雄心壮志、能力和与生俱来的魅力，肯定会带她走得更远，超出她高中的范围。这是毕业班的认可、期望和预言。我们相信你。

谁最有可能成功的问题也驱动着选择性大学录取的世界。虽然这个过程比对年鉴奖项的临时选举更正式，但从外部来看，它可能感觉同样不透明，结果也同样特立独行。至少，高中生在对同学的未来下注之前，有四年或更长时间的了解；而大学领导者只有短短几个月的时间来识别他们在申请人身上寻找的那种模糊的特殊事物。

除了评估学生的成绩和论文外，招生官长期以来一直关注SAT和ACT考试，以帮助他们决定谁能在他们的校园环境中以及其他地方取得成功。但COVID-19大流行导致许多大学突然决定将提交此类分数作为可选项目。即使是SAT的制造商大学理事会，也建议大学在即将到来的招生周期中，对考试要求持灵活态度，因为学生在参加现场考试时面临挑战，以及该组织远程进行考试的努力中出现故障。

当然，考试成绩只是大学在预测哪些学生可能在严格的课程中表现出色、以独特的视角丰富校园生活、在四年内毕业，甚至通过大额学费支票帮助平衡收支时所依赖的数据之一。但SAT和ACT留下的空缺意味着，更多的大学可能会寻找新的方法来帮助筛选出谁能获得他们稀缺的名额。

输入算法。

销售招生算法的公司表示，他们有一种更公平、更科学的方法来预测学生的成功。他们使用游戏、网络跟踪和机器学习系统来捕获和处理越来越多的学生数据，然后将定性输入转换为定量结果。推销词是：使用更深层次的技术使招生更具人性化。

“我认为这将更多地被依赖，而更少地依赖于面对面的学生、考试成绩和可靠的成绩，至少在春季学期甚至明年，”专门研究教育法和残疾人权利的律师Marci Miller说。

但米勒和其他怀疑者想知道这些工具背后的科学是否可靠，并询问学生的数据是否应该对他们的命运施加如此大的控制权。他们质疑新的选择系统是在为更多的学生创造大学机会，还是仅仅复制了某种特定的学生成功模式。

“这些被推销为使过程更公平的原因是，这是技术领域已经接受的幻想，”纽约大学AI Now研究所的政策研究主任Rashida Richardson说。“这是这个领域的技术解决方案主义，认为非常复杂和细微的社会问题可以用计算机和数据来解决。”

定义成功

高等教育充斥着来来去去的流行语，通常与那些承诺帮助该领域在解决顽固问题（如低毕业率）方面取得进展的理论有关。

现在流行的是“学生成功”的概念。大学希望支持它、衡量它、预测它。这听起来无可非议，也容易接受。但这个概念的光滑外表也让它变得很滑。

“对于高等教育中经常被提及的事情来说，'学生成功'这个术语是非常模糊的，”销售大学旨在提高学生入学率和保留率的工具的公司vibeffect的首席执行官兼联合创始人Elena Cox说。

'学生成功'是一个难以捉摸的概念。

大学如何定义这个概念会影响他们的招生流程，并影响机构收集哪些学生数据。

如果一个成功的学生是指很可能在大学一年级取得优异成绩的学生，那么SAT可能是首选的招生工具，因为它预测的是这个。

“与一年级GPA相关联并非微不足道，因为如果你通不过第一年，你就无法毕业，”莱斯大学的心理学教授Fred Oswald说，他研究教育和劳动力问题，并就研究生入学考试向教育考试服务机构提供建议。

或者，如果成功看起来像一个很可能在四年内毕业的学生，那么高中成绩可能会更重要，国家公平与公开考试中心（一个倡导反对依赖标准化考试的组织）的临时执行董事Bob Schaeffer说。

“我们鼓励学校将成功定义为四年或稍长期的毕业率，”Schaeffer解释说。

但好的高中成绩并不总能预测及时的大学毕业。波士顿环球报对2005年至2007年各班级100多名高中毕业生的分析发现，25%的人在六年内没有获得学士学位。

因此，一些大学试图更深入地研究学生的心理，以确定申请人是否具备获得文凭所需的条件。招生官可能会尝试辨别“毅力”，这是宾夕法尼亚大学心理学教授Angela Duckworth研究的特质。或者，他们可能会寻找那些看起来自信、对自己的弱点有现实的认识，并且能够朝着长期目标努力的学生——这是马里兰大学教育学院名誉教授William Sedlacek确定的八个“非认知技能”中的三个。

由于运动——在大流行之前就已经开始——使考试成绩成为可选项目，大学对这种“整体录取”越来越感兴趣，美国大学注册员和招生官协会的副执行主任Tom Green说。

“当与GPA结合使用时，[整体录取]可以大大提高对成功的预测质量，”他说。“我认为人们真的在寻找更公平的方式来识别优秀的学生，尤其是对于那些考试成绩不佳的学生群体。”

使用算法的录取

其中一种方法可能是通过手机游戏。KnackApp公司制作的消遣游戏旨在让人感觉像流行的消遣游戏Candy Crush和Angry Birds一样有趣和令人上瘾。但这种游戏是有目的的。据称，在幕后，算法会收集关于用户的“微行为”的信息，例如他们是否重复犯错误或采取实验路径，以尝试识别玩家如何处理信息以及他们是否具有很高的学习潜力。

KnackApp的创始人兼首席执行官Guy Halfteck说，只需10分钟的游戏时间就能揭示“你的人类操作系统的一个有力指标”。这些游戏旨在“引诱、衡量、识别和发现那些无形的东西，这些东西告诉我们关于那个人的隐藏天赋、隐藏能力、隐藏的成功潜力。”

Halfteck说，美国以外的大学已经在学生咨询中使用KnackApp，伊利诺伊州学生援助委员会也是如此。对于录取，大学可以使用该平台创建针对他们最感兴趣衡量的特质定制的游戏化评估，并在他们的申请中包含指向这些游戏的链接，甚至将它们与他们发布在公共场所的二维码联系起来。

揭示学生的隐藏特征也是录制申请人视频面试并使用算法分析学生“微表情”的公司的目标。这种工具正在Kira Talent（一个招生视频面试平台）上进行实验。但它可能还没有准备好进入黄金时段：Kira Talent的CTO Andrew Martelli说，科学还不扎实，建议人类招生官在观看录制面试时使用评分标准，对学生的沟通和社会技能做出自己的评估。

与此同时，希望衡量更平凡的事情（例如特定学生在被录取后是否真的会入学）的大学，可能会转向跟踪他们网络浏览习惯的工具。迪金森学院的招生官会跟踪已经与学校联系过的学生在学校网站的某些页面上花费了多少时间，以评估他们的“表现出的兴趣”，迪金森学院的招生副总裁兼招生主任Catherine McDonald Davenport说。

“这并没有告诉我具体的内容，”她解释说。“它为我提供了一个参考点，说明人们正在寻找什么，而不会被人所知。”

许多大学也雇用了招生管理公司的综合服务，这些公司的机器学习工具试图检测历史学生数据中的模式，然后使用这些模式来识别可能帮助大学实现目标的潜在新生，例如提高毕业率、使校园多样化或在排名中上升。

“机器可以做而人类做不到的是查看数千个输入，”机器学习分析公司ElectrifAi的CCO Matt Guenin说。“有时招生过程可能非常主观。我们正在为这个过程带来更多的客观性。我们本质上是在尝试使用他们掌握的所有信息来做出更好的决定。”

对抗偏见

对于算法招生工具的怀疑者来说，公平性问题是最重要的，以及他们是否可靠（有可重复的结果）、有效（他们衡量的是他们声称要衡量的内容）和合法性。

“我主要担心的是，它们通常是在人们相信数据更客观并且可以帮助带来更多公平的幌子下被采用的，”里查德森说。“有大量研究表明，这些系统更有可能隐藏或掩盖现有的做法。”

它们也可能根本不起作用。虽然一些供应商发布了似乎提供证据的白皮书，但评论员认为，如果将这些证据提交给信誉良好的科学期刊的同行评审过程，这些证据不一定成立。

这种自我评估并不总能揭示这些工具是否公平地对待所有类型的学生用户。

偏见可以通过多种方式潜入这些预测模型，宾夕法尼亚大学教育研究生院副教授兼宾大学习分析中心主任Ryan Baker解释说。

主要使用来自一组学习者的数据构建的模型可能对某些学生比其他学生更准确。例如，Baker发现，服务于中产阶级家庭的郊区学校的教师和校长非常乐于参与他的研究项目，而纽约市学校的领导者对学生数据更加谨慎和保护。

“更容易获得白人、中上阶层郊区孩子的数据，”他说。“模型最终建立在更容易的数据之上。”

与此同时，基于历史数据构建的模型最终可能会反映和复制历史偏见。如果种族主义影响了学生毕业后找到的工作，并且这些数据被用来训练一个新的预测系统，那么它最终可能会“预测有色人种学生会做得更糟，因为我们在模型中捕捉了历史上的不平等”，贝克说。“这很难避免。”

此外，算法招生实践可能会以多种方式违反法律，米勒说。未经同意收集学生信息可能侵犯数据隐私保护。即使这种歧视并非有意，根据“歧视性的方式，根据残疾、种族或收入筛选学生”的工具也可能是非法的。

“对于任何算法歧视，输入的信息就是输出的信息，”米勒说。“我想它可以被用于好的方面，但也可以被用于邪恶。”

重新思考预测

将天平向“好”的方向倾斜可能意味着重新思考算法在招生中的作用，并重新评估大学押注谁最有可能成功。

一些大学并没有使用方程式来只挑选那些已经看起来很出色的学生，而是试图将它们应用于识别那些如果得到一点额外支持就可以蓬勃发展的学生。Sedlacek认为，对于大学成功至关重要的“非认知特征”并非一成不变，如果大学拥有关于谁需要辅导、咨询和其他资源的数据，他们可以将其传授给没有这些特征的学生。

Sedlacek说，选择性大学可以从具有开放注册的大学那里学到一两件事：“一个非常有选择性的地方的陷阱是，他们认为，‘我们所有的学生在开始时都很优秀，他们不需要任何东西。’”

Cox指出，以这种方式使用算法——“识别被认为有风险的学生”——会导致其自身的偏见。但支持者认为，如果做得好，这种做法有可能包含而不是排除更多的学生。

算法也可以帮助使招生不再侧重于首先评估个人。加州大学圣巴巴拉分校的荣誉退休教授、长期从事招生研究并为教育考试服务机构工作的Rebecca Zwick正在开发一种受限优化流程，该流程构建学生群体，而不是一次选择一个学生。

从大量的学生库中，该算法可以生成一个满足特定学术要求的群体，例如具有尽可能高的GPA，同时也能达到目标，例如确保一定比例的选定学生是家中第一个上大学的人。

当Zwick将该模型与大学已经做出的实际录取决定进行比较时，她的算法往往会产生更令人印象深刻的结果。

“通常，通过优化程序录取的班级的整体学术表现更好，同时也成为一个更多样化的班级，”她说。

然而，Zwick是《谁进去了？公平有效大学招生的策略》一书的作者，她说她并没有完全决定将招生决定交给技术。

她认为人类在做出高风险的选择决定中仍然扮演着重要的角色。在为这个故事采访的其他学者、律师和政策主管也分享了这种观点，他们说，人类应该深思熟虑地选择工具，以防止和对抗算法偏见可能在招生中产生的负面影响。

“人们应该努力寻找它，并在看到它时努力修复它，”贝克说。

自从大流行开始以来，招生主任Davenport一直收到了关于她在迪金森学院可能使用的招生技术产品的营销材料。

“每个人似乎都对我的未命名问题都有一个想法和解决方案，”她说。“这有点可笑。”

但即使她的团队使用一些高科技选择工具，她也劝告他们谨慎地运用这种力量。

“有很多学校会使用他们掌握的每一个可能的数据点来为决策提供信息，”Davenport说。“我们希望以诚信和尊重的方式对待这些信息。”