在围绕以证据为基础的政策制定和实践的辩论中提出的一个问题是，什么应该算作证据。促使我进一步思考这个问题的是最近发表在英国教育研究杂志(Connolly等人，2019)。在这篇文章中，作者将学生在数学方面的分配与他们个人在关键阶段2 (KS2)测试中的成绩进行了比较。他们将差异定义为“分配不当”，并记录了性别和种族方面的差异(没有社会阶层方面的差异)。他们的结论是，他们的发现“为这样一种论点提供了证据，即如果要使用设置，它必须纯粹基于先前的成就，以避免分配不当以及我们的发现所表明的在分配不当的情况下应用的偏见”(p23)。

这些都是有分量的结论。如果歧视的指控是真的，我不会感到惊讶，但仍有必要问:这项研究在多大程度上支持了他们?这有两个方面:研究得出的事实结论是否足够令人信服，以及这些结论是否支持所作的评价和建议。我不能在这里做一个全面的评估(见Gomm, 2020a, 2020b)，但我会提到一些担忧。

• 作者没有记录教师实际上是如何分配学生的，尽管他们提到了一些可以依靠的信息。相反，他们推断“分配不当”，实际上是教师的“偏见”，仅仅基于KS2的结果和分配之间的差异。但是，测试结果在测试时是否可靠地衡量了每个孩子的成就呢?它们作为衡量孩子在后来的分配中成就水平的可靠程度如何?至少这里有一些误差是需要考虑的。
• 作者声称他们的研究结果具有普遍有效性，但所使用的学校样本是一项随机对照试验的“对照组”。(这次试验没有发现仅仅根据学生的KS2成绩来分配课程对学生的进步有任何影响。)虽然样本相当大(46所学校)，但我们不知道这些发现在英国的学校或在一段时间内有多大代表性。
• 第三个问题是一个更基本的问题:没有任何实证事实本身能够为实际的评价和建议提供足够的支持，因为这些评价和建议必然涉及价值假设。在这种情况下，这些关系到什么是公平，以及与教育决策中涉及的其他价值相比，公平应该得到多少权重。我不认为研究人员有优势来决定这些事情，从而对教师的决定做出权威的评价或实际的建议。合理的做法是有条件地得出有价值的结论。因此，作者可能会认为，如果我们把“公平”理解为“分配给KS2数学结果对应的数学集合的机会均等”，那么研究的集合分配相对于性别和种族来说是不公平的。然而，与此同时，必须明确指出，在这方面还有其他合理的定义“公平”的方法:例如，根据其他实现的衡量标准;或者我们可能想要根据能力来定义“公平”。更微妙，也更模糊地说，我们可以把它解释为“学生被分配到一个能够发挥他们数学能力的集合的机会是均等的”。我们还需要认识到，在实践中，教师在给孩子们分配课程时，还可以合理地考虑其他因素。而且，实证研究本身不仅不能告诉我们应该采用什么样的公平概念，它也不能告诉我们，在分配学生时，应该给各种可能相关的其他考虑以何种权重。

在我看来，这些作者的报告是进一步调查的一个起点。它们没有提供依据来证明它们声称在定额分配中存在性别和种族差异，从而造成总体水平的不平等。他们甚至更不支持作者所得出的评估结论。

我讨论的这篇文章并不是唯一促使人们思考这些问题的文章。然而，这使得我们更加需要考虑如何判断什么是足够的证据，并反思我们个人和集体的责任，以避免超越证据。还有一个更令人担忧的想法:教育研究人员能否就如何确定什么是充分证据达成一致?如果不是，这对他们的工作作为政策制定的基础有什么影响?

---

马丁·汉默斯利(Martyn Hammersley)第二天在博客上发表了另一篇文章:超越证据:研究和媒体”。

---

参考文献

Connolly, P.， Taylor, B.， Francis, B.， Archer, L.， Hodgen, J.， Mazenod, A.， & Tereschenko, A.(2019)。学生在数学学科中分配不当:对英国中学的研究。英国教育研究杂志，45（4).https://doi.org/10.1002/berj.3530

Gomm r (2020 a)。误解:种族。从检索https://www.researchgate.net/profile/Roger_Gomm

Gomm r (2020 b)。误解设置:性别。从检索https://www.researchgate.net/profile/Roger_Gomm