教育技术中的证据：证明产品有效性之路

由于两年多前疫情引发的对数字化的疯狂追逐，学校的科技应用以前所未有的方式泛滥。

但这项技术在多大程度上能够改善孩子们的学习成果——或者说，在什么时间、对谁、在什么条件下起作用——对所有人来说仍然是个谜。这主要是因为，要弄清这一点，必要的调研和评估尚未进行。而之所以没有进行调研和评估，至少到目前为止，教育技术提供商几乎没有动力去证明他们的产品确实像他们所说的那样有效。

很可能，市场上大约 9000 种左右的教育技术产品都按预期运行。有些甚至可能像承诺的那样“改变”教育。然而，如果没有证据，我们根本无从知晓。

这种情况可能正在发生改变。近年来，涌入学校的科技产品数量已经达到临界点，而且在疫情期间，在学业上落后的孩子数量也足以敲响警钟，学区领导们正在对教育技术产品背后的证据提出更多质疑。反过来，各公司也开始着手寻找答案。

一个制胜策略

Irina Fine 正在实时地见证这一切。这位长期的课堂教育工作者是 Bamboo Learning 的联合创始人兼首席内容官，该公司于 2018 年推出了一款语音辅助识字应用程序，并于今年早些时候开始在学校试用这项技术。

“从公司成立之初，以及作为一名终身教育工作者的角度来看，我知道我们希望我们的产品能以研究和焦点小组为基础，”她说。“将我们的产品设计建立在研究和用户反馈的基础上，这一点至关重要。”

在 1 月份之前，Bamboo 一直在其 Amazon Alexa 平台上托管其语音辅助应用程序。后来，学校开始要求该公司也让其技术在 iPad 上可用。

“一旦我们将战略转向学校，我们立刻说：我们需要研究，我们需要证据，我们需要验证。”- Bamboo Learning 联合创始人 Irina Fine

“一旦我们将战略转向学校，我们立刻说：我们需要研究，我们需要证据，我们需要验证，”Fine 说。

Bamboo Learning 于 1 月开始与 LearnPlatform 合作，该公司帮助各学区管理其教育技术产品，以证明其产品“证明了基本原理”，即根据联邦《每个学生都成功法案》（ESSA）的定义，展示证据的基线标准。

要被认证为 ESSA IV 级（证明基本原理），公司必须展示一个逻辑模型，并制定计划来研究该产品的影响。这并不是一个很高的标准。

Bamboo 与 LearnPlatform 合作，该公司今年早些时候推出了其证据即服务的订阅模式来评估教育技术公司，Bamboo 于 2 月获得了 ESSA IV 级认证。

从那时起，该公司开始追求 ESSA III 级，即“有前景的证据”，这需要至少一项“设计良好、实施良好的相关性研究，并进行统计控制”。Bamboo 在 3 月和 4 月期间，在俄克拉荷马城的一所特许小学进行了试点研究。参与研究的学生每天早上使用 Bamboo Learning 的 iPad 应用程序 5 到 10 分钟，持续六周。

这项研究的结果于 6 月 17 日公布，结果表明 Bamboo Learning 的试点项目符合 ESSA III 级要求，使该公司获得了 III 级认证。研究表明，经常使用 Bamboo 应用程序的学生在阅读和听力理解能力以及参与度方面均有所提高。

Fine 表示，作为下一步，Bamboo 希望过渡到 ESSA II 级，即“中等证据”，这需要一项包含 300 名学生样本的研究。

对于 Fine 和她的联合创始人 Ian Freed 来说，通过 ESSA 等级认证是理所当然的事情。她在课堂上度过了足够多的时间，认为最好不要用无用或不受欢迎且无效的产品来浪费老师们的时间。但这不仅仅是一种道义上的义务。展示证据——或者至少努力证明其有效性——让 Bamboo Learning 在学区中占据了优势。

今年春天，该公司是响应东北部学区招标的 200 家供应商之一。Bamboo 是仅有的八家被选中向该学区九人决策委员会进行展示的公司之一。当被要求提前分享材料时，Bamboo 的领导们分享了 ESSA IV 级的逻辑模型，并准备好讨论他们的产品设计、研究以及试点研究的预期学习成果。在最初的 200 家供应商中，Bamboo 获得了该学区 12000 名 K-5 年级学生的合同。

LearnPlatform 的首席执行官 Karl Rectanus 为 Bamboo 的 ESSA IV 级和 III 级研究提供了第三方验证，他坚持认为 Bamboo 的胜利并非巧合。

“他们正在获胜，”他谈到 Bamboo 时说。“我们并不是说这仅仅是因为这些证据，但……对（验证）的投资回报比以前高得多，因为学区和各州都在说，‘是的，我们希望看到证据，我们更有可能购买，因为有了证据。’”

Fine 也看到了学区领导对公司展示证据的渴望。

“我认为教育工作者在这方面的期望是存在的。但公司方面并没有提供这种证据的习惯或做法，”她解释说。“学校领导必须推动这一要求：‘除非你具备 x、y 和 z，否则我们无法评估你。’是否有足够的产品通过研究得到了验证，从而能够实现这一目标？也许还没有。”

事实上，她很惊讶地发现，很少有公司拥有 ESSA 验证或正在寻求验证。“这不像我希望的那么普遍，”她说。

激励问题

事实是，大多数公司并没有对其产品进行独立的、严格的研究，因为他们没有必要这样做。

Edtech Evidence Exchange 的首席执行官、该行业更好监管和监督的倡导者 Bart Epstein 说，一些教育技术提供商意识到，他们可以通过一个色彩鲜艳、包装精美的案例研究并称之为“证据”来蒙混过关。所以，他们认为，为什么要花时间和金钱去做更复杂的事情呢？

“一个人进行独立的、第三方的、政府资助的黄金标准有效性研究，以显示产品在类似环境中的表现，与营销部门撰写的一些内容之间存在天壤之别，后者使用模糊的学术性、带有色彩的语言，没有任何意义。”- Edtech Evidence Exchange 首席执行官 Bart Epstein

“越来越多的公司已经准备好回答关于有效性和研究的问题，这是一个正确的方向，”Epstein 说，“但一个人进行独立的、第三方的、政府资助的黄金标准有效性研究，以显示产品在类似环境中的表现，与营销部门撰写的一些内容之间存在天壤之别，后者使用模糊的学术性、带有色彩的语言，没有任何意义。”

Epstein 说，教育技术行业的一大缺陷是，几乎没有任何进入壁垒，也没有任何管理机构像美国食品药品监督管理局对制药公司那样，在他们将产品推向市场之前对他们的声明负责。“明天，你和我可以出去，雇一个主管，创办一家公司，赚 1000 万美元，而无需展示任何有效性，”他解释说。

因此，当学区领导要求提供有效性证明时，一家公司提交的文件内容勾选了所有方框——西格玛符号、样本量、主要发现——这通常被认为足够好，即使这仅仅是一个老师在一个学校里的一个经过修饰的轶事。与此同时，大多数教育工作者没有时间去梳理研究，也没有专业知识来区分严格性和垃圾。“欺骗这个系统是很容易的，”Epstein 补充说。

“在一个学区没有压力或没有强烈激励去选择最有效的产品的情况下，我们看到关于购买什么的决定往往更多地是基于可用性、人际关系、功能，而不是基于证据，”他说。“只要学校继续自己选择不同的产品，他们就极不可能始终选择‘更好’的产品。”

因此，行业内的这些人——尽管他们可能善意——被激励不去投资数百万美元进行高质量的研究，而是把这笔钱花在加强他们的销售和营销团队上，派人参加会议和行业展览，寻找新的潜在客户。

“我们肯定正在朝着正确的方向前进，但我们走得很慢，”Epstein 说。“我希望看到一个这样的世界，即进行真正研究的公司能够获得奖励、得到优先考虑并获得更多的销售额。”

更好的方法？

LearnPlatform 的 Rectanus 认为他可能也是解决方案的一部分。历史上，严格的研究花费了公司大约六到七位数。但是，他公司新的“证据即服务”模式使教育技术提供商能够以一小部分成本和一小部分时间获得第三方评估——几周，而不是 18 到 36 个月。Rectanus 还指出，它以一种更容易理解、更易消化的形式交付给询问的学区。

他的目标是让教育市场相信，这项工作是可以实现的。毕竟，大多数公司确实相信他们有一个好产品。他们相信它有效。他们只是不确定证明这一点是否可行，以及与进行研究相关的所有成本。

“最终，任何学区都应该能够问，‘你们有针对像我们这样的背景的解决方案的证据吗？’如果答案是肯定的或否定的，他们也应该能够说，‘你们愿意与我们一起，在我们的背景下记录证据吗？以一种满足我们的要求、允许我们使用联邦资金并为我们的学生做出决定的方式？’”Rectanus 解释说。

Rectanus 说，这些问题变得越来越普遍。

对于德克萨斯州哈林根联合独立学区的幼儿教育主任 Carmen Alvarez 来说，获得这些问题的答案至关重要。

哈林根是一个靠近墨西哥边境的贫困学区，有 18000 名学生。在疫情初期，该学区开始使用名为 My Math Academy 的自适应、基于游戏的数学程序，用于其学前班的学生。Alvarez 意识到该项目对该学区来说是一个福音——孩子们喜欢它，而且他们的数学技能似乎正在提高——Alvarez 同意与制作 My Math Academy 的公司 Age of Learning 合作，参与对哈林根该项目的研究。

他们的发现与轶事证据相符：在获得第一类资助的学区中，98% 经常使用 My Math Academy 的学前班学生在学年末的数学方面“步入正轨”，这基于州管理的评估，而没有使用该项目的学生约为 77%。

现在，哈林根有超过 5000 名从学前班到三年级的学生正在使用该项目。此后，My Math Academy 获得了 ESSA I 级认证，这是展示学生学习成果改进的最高 ESSA 等级。

“拥有这种外部认证非常重要，”Alvarez 谈到 ESSA 认证时说。“这在我们评估这么多项目时非常重要。”

“我希望得到这种认可印章，这样我们就能知道它很棒，我们知道它有效。我们希望把最佳实践摆在我们的老师和学生面前，并且能够说[它已被验证]具有很多意义。”- 哈林根联合独立学区幼儿教育主任 Carmen Alvarez

她解释说，当疫情开始时，她和她的同事被教育技术公司提供的推销和项目以及各种材料“狂轰滥炸”，这些公司都希望获得新客户。“对我来说，我只需要知道我向我的助理主管和小学教育主管、向我的学校董事会展示了什么，”她解释说。“我希望得到那种认可印章，这样我们就能知道它很棒，我们知道它有效。我们希望把最佳实践摆在我们的老师和学生面前，并且能够说[它已被验证]具有很多意义。”

对证据的零星推动

行业内的转变仍然缓慢而零星，但它是真实的。

Age of Learning 的首席创新官 Sunil Gunderia 认为，疫情期间技术涌入学校起到了很大作用。但美国救援计划的《中小学紧急救济》（ESSER）基金明确提到了学区需要使用“循证”干预措施和方法，也起到了很大作用。（Rectanus 指出，ESSER 基金使用“循证干预措施”一词 17 次，但没有提供关于如何证明它的具体细节。）

Gunderia 和他在 Age of Learning 的同事花费了大量资金进行有效性研究并获得 ESSA 认证，部分原因是他们希望知道他们放在孩子们面前的产品确实有效，但也因为他认为该行业正在朝着一个很快就需要提出这种研究的方向发展。

“我们希望获胜，因为我们的产品比任何其他产品都更好，我们通过有效性测试证明了这一点，”他说。“我们相信我们将在长期取得胜利，因此我们将[研究]投资视为值得的。学生的学习成果将与公司的成功保持一致——我们真诚地相信这一点。”

Rectanus 说，这已经在公司的内部对话中得到了体现。

“这曾经是一种权衡——投资于人员与研究试验。但我们发现，当我们与供应商交谈时，是销售和营销团队正在与产品团队说，‘我们可以提供证据即服务吗？’”Rectanus 说。“销售人员正在市场上听到这种说法：‘我们刚刚把这个 RFP 输给了一个声称有证据的组织。’”

对于 Epstein 来说，他仍然对不应有的乐观情绪保持警惕。为了让行业发生有意义的改变，它需要的不仅仅是个人表达兴趣。它需要一个监督者和一个监管者。

“一切都是轶事，”他说。“鉴于疫情，支出大幅增加，媒体对这些问题的关注增加，以及一些非营利组织正在努力解决这个问题，人们越来越认识到我们需要这种证据，这是很自然的。”

他希望一个更有意义的运动能够实现，“一个有组织的、要求更多证据并获得证据、知道如何处理证据并能够使用证据的运动。”