教育定量研究、教育实证研究已经成为教育学者交谈时不断被重复的话题，却常常被误解，甚至常常有人把定量研究等同于实证研究。作为一个教育实证主义者，觉得有必要啰嗦几句。不过，本文并不涉及定量和实证之间的区别（自行google），而是着重谈谈定量研究方法吧。
    早在上世纪上世纪80年代，随着计算机及统计软件的出现和数据的大爆炸，定量研究如雨后春笋班出现后，一些学者就开始提出定量研究究竟是“科学还是炼金术”的问题。在理科中，定量方法发展最深的是或许是生物、医学（因为对事物间定量关系的精确性要求非常高），在社会科学中，定量方法发展最好的领域是经济学，因此这些领域的学者也是对定量方法反思最早的一群人，很多不恰当的研究方式已经被经济学、生物统计学家等纠正了却依然广泛的见于教育研究中。推荐对教育定量感兴趣的朋友看看这几篇文章：1、1980年的econometrics-alchemy or science；2、1983年年的let's take the con out of econometrics;3、1991年的The Scientific Illusion in Empirical Macroeconomics；4、1992年的Model specification tests and artificial regressions；5、1997年的i just run two million regressions；6、1995年的a natural experiment in jeopardy;7、2004年的field experiment（发表于JEL）。8、2010年的the credibility revolution in empirical economics:how better research design is taking the con out of econometrics。上述文章分别写作于不同时代，反映了在追寻"可靠的因果联系"时学者对于定量研究方法适用性理解的逐步深入。
    如果对具体的案例感兴趣，推荐看看教育实证研究中最著名的“官司”：jesse rothstein挑战caroline hoxby。（does competion among public schools benefit students and taxpayers及其comment及reply）。个人以为，作为后辈学者，对前辈的尊重就是在前辈研究的基础之上、发现前辈研究中的不足并纠正和完善。让每一个“前辈”心存压力——只有严谨治学才堪称后辈楷模。
    并不是复杂的方法就比简单的方法好——复杂的方法在解决旧偏误、甚至未能解决旧偏误的同时可能增加新的偏误。如果数据规范性好而且完美，定量研究其实就是依葫芦画瓢，发达国家的定量研究已经大多如是了。如果数据规范性不好，定量研究就需要科学和经验的良好结合了——因为不同方法之间的结果差异很大、而且很难直接判断哪种方法的结果就是可靠的。发展中国家的定量研究者经常就需要扮演这种“炼金师”的角色。
    科学的生成真金固然是好，如若条件不成熟，只能退而求其次做个炼金师。对于很多重大的学术问题，发展中国家的学者并不总是有幸扮演科学家的角色。  不过，炼金师又何妨？只要炼出的是“真金”，也无愧于己了。