在教育中，我们给实验的概念套上了束缚。我们坚持帕莱特和汉密尔顿(1972)著名的“农业-植物学范式”。但是农业植物学实验并不是人们在广泛的自然科学和应用科学中所认为的“实验”。在其他地方，科学家对实验的态度要开明得多。

“教育研究中，基于实验的询问有三种热情 - 一切都以热情和Gusto开头，但每个人都在失望。

在我的新文章英国教育研究杂志（托马斯,2020)，我检验我们对农业植物学实验的忠诚。我简要地回顾了教育实验的历史，并得出结论，在教育研究中，对基于实验的探究的热情有三种表现形式——都以热情和热情开始，但每一种都以失望告终。

第一个化身是在交织年期间的，随后在20世纪20年代的实验心理学的成功之后，但在悲观中结束了关于什么实验可以告诉我们的实验。下一步 - 第二次即将到来，在20世纪60年代开始，持续到20世纪80年代，并追随坎贝尔和斯坦利的1963年关于实验设计的杰出，其中分类学实验形式。这产生了一种新的热情和新的大型项目的新鲜性。然而，这些令人失望地结束，因为它似乎是主要的美元效率，如脑袋等效果不大。Indeed, in 1981, Gene Glass – perhaps the leading quantitative researcher of education in the 20th century, and one who had been heavily involved in the post-60s tranche of experiments – came to the conclusion that ‘…the deficiencies of quantitative, experimental evaluation are thorough and irreparable’ (Glass & Camilli, 1981, p.23).

第三次发生在世纪之交，在第二次试验的失望被归因于早期试验中不充分的随机化(见Cook, 2001)之后。解决方案?随机。然后我们又进行了第三部分——随机实验，这些实验是由美国的What Works Clearinghouse和英国的教育捐赠基金会资助的。

我们现在处于评估由这三个，千年之后的千年之际调查结果进行了评估。这些评估从实验的第一和第二个关联中重复调查结果：干预措施的影响，这些评估告诉我们，是常规的（Malouf＆Taymans，2016; Lortie-Forgues＆Inglis，2019）。新实验评估者的评价镜像以前出现的实验的评估人员：美国评估人员的结论是，他们的调查结果表明，他们关于21世纪的作品的调查结果绘制了关于教育干预措施的证据基础的暗淡照片，while in the UK evaluators concluded that the current tranche is yielding ‘small and uninformative effects’.

所有这些都给人一种déjà似曾相识的奇怪感觉。

我们应该从这些重复的失望中学到什么？我在纸上争论（托马斯,2020),一个潜在的解释实验的弱点(也就是说,在传统农业植物学实验)在社会研究建立幂律——通常称为帕累托定律或原理,在不同领域的研究中,Zipf定律或“极重要的少数法则”。这里的基本观点是，主导了许多社会研究的实验的效果稳定性假设是错误的。社会生活的某些方面的影响是普遍的、不稳定的和不成比例的，因此它们总是会压倒利益干预的影响。

这些影响只是因为'噪音'而被解雇。它们是社会景观的基本部分，而且它们将通过它们的价值来实现它们的效果，而是通过它们与其他变量的互动，激活或取消应对其他潜在决定因素的变化的效力。因此，一些高度显着的变量可以确定大多数干预措施的最终效果。超过这一点，这些变量的影响可能会增加，衰减或随时间波动，使得互动效应复杂和不可预测。帕累托的原则提供了一种了解高等教育创新的显着禁险和/或短暂影响的手段，以及正式实验（在农业植物学传统）的不足以评估任何此类影响。

是时候摆脱束缚，对教育研究中的实验采取更广泛的观点了。

---

此博客基于文章的“实验持续失败的教育查询”，以及为什么通过加里托马斯保持失败，发表在这件事中英国教育研究杂志在开放式访问基础上。

---

参考

坎贝尔，D. T.和斯坦利，J. C.(1963)。研究的实验和准实验设计．波士顿，马：Houghton Mifflin Co.

Cook，T. D.（2001）。重新评估对教育中随机实验的论点：对美国教育学院评估文化的分析．芝加哥:西北大学，芝加哥。

葛拉斯，G. V.， &卡米利，G. A.(1981)。“坚持到底”的评价。观点(120)。华盛顿特区:国家教育研究所。

Lortie-Forgues，H.，＆Inglis，M。（2019）。严格的大规模教育RCT通常是不可写的：我们应该担心吗？教育研究员，48（3），158-166。

马鲁夫，D. B. & Taymans, J. M.(2016)。证据基础的解剖。教育研究，45(8)，454-459。

刘志强，刘志强(1972)。评价作为启示:创新项目研究的新途径。偶尔的纸。爱丁堡:爱丁堡大学教育科学研究中心。

托马斯,g(2020)。实验在教育探究中的持续失败以及失败的原因。英国教育研究杂志．提前在线出版。https://doi.org/10.1002/berj.3660