Q8坛友danbaidong:
能否请王老师推荐一些“实地实验(Field Experiments)方法”和“公共政策影响评估(Impact Evaluation)”两个方向上面向应用的经典教材或者手册?谢谢!
A8:
Field Experiments: Design, Analysis, and Interpretation,Alan S. Gerber, Donald P. Green, W.W. Norton, 2012.(中文版:《实地实验:设计、分析与解释》,王思琦译,中国人民大学出版社,2018年11月)
Handbook of Field Experiments 1-2 Edited by Abhijit Vinayak Banerjee, Esther Duflo North Holland, 2017
Jeffrey P. Carpenter, Glenn W. Harrison and John A. List Eds. Field Experiments in Economics. Elsevier JAI. 2005
Field Experiments and Their Critics: Essays on the Uses and Abuses of Experimentation in the Social Sciences Edited by Dawn Langan Teele Yale University Press,2014
Peter John. Field Experiments in Political Science and Public Policy.Routledge,2017
Glennerster R. & K. Takavarasha, Running Randomized Evaluations: A Practical Guide Princeton University Press, 2013
Dean Karlan / Jacob Appel Failing in the Field: What We Can Learn When Field Research Goes Wrong Princeton University Press, 2016. (中文版:《失败的价值》,中国人民大学出版社,2018)
Uri Gneezy, John List.The Why Axis: Hidden Motives and the Undiscovered Economics of Everyday Life. Public Affairs, 2013 (中文版:《隐性动机》,中信出版集团,2015年)
Jim Manzi. Uncontrolled:The Surprising Payoff of Trial-and-Error for Business,Politics,and Society. Basic Books.2012
----------------------------------------------------------------------------------------------------------------
Q9坛友18249079690:
王老师,您好。之前在公众号上读到过D.N. McCloskey的文章,文章中写到曾经有几位诺奖得主如安格斯·迪顿(Angus Deaton)以及詹姆斯·赫克曼(James Heckman)都对实地实验(field experiment)的技术手段表示出极度的担忧。他们最担心的是经济学家仅仅根据一个地区性的实验结果向ZF呼吁全国性乃至全球的政策是否会犯“一叶障目”的错误,这个问题请问您如何评价?尤其对于“实地实验”的局限性,这方面有没有相关的前沿的研究成果?附文章链接给老师 https://mp.weixin.qq.com/s/DinIoGOexlEC2QQtH_mSfw
A9:
不新鲜了,这些批评早已有之,参见之前推荐的这本书,就汇集了不同立场的著名学者(包括你说的这几位)对于实地实验方法的评论。这本书我几年前和在宾夕法尼亚大学政治学系任教的编者Teele联系过,她很愿意我将其翻译为中文,但是由于是一本论文集,因此市场前景有限,始终未能如愿。
Field Experiments and Their Critics: Essays on the Uses and Abuses of Experimentation in the Social Sciences Edited by Dawn Langan Teele.Yale University Press,2014.
----------------------------------------------------------------------------------------------------------------
Q10坛友经济书生:
王老师,您好!我们在教育领域也做了一些随机干预实验,然而目前面临的困境是,国内申请实验的伦理审查仅限医学、生物学、公卫方向,如果是教育学、经济学方向的实验伦理审查IRB应该向谁申请?
A10:
不知道你们是不是陕西师范大学教育实验经济研究所。由于目前国内很多大学没有IRB,之前我遇到一位心理学老师发表英文论文需要有IRB的审查意见,我建议她找医学内院校,看能否代为审批。实在不行,如果合作者中有国外学者,建议由其进行申请。
----------------------------------------------------------------------------------------------------------------
Q11 坛友 HELLO_BABY:
王老师您好,您研究实地实验我觉得真的很好,无论是说服力还是可信度。但是就是想问:不是每个政策或者方案都能找到很好的实地试验去评估,但一定时期内总要给出评估结果,会不会因此不得不降低一些实验标准 来完成评估呢?
A11
是的,现在impact evaluation相关的手册和书籍一般将实验方法与准实验(自然实验)方法并列,如果我们做不了实验,那么大家熟悉的几种准实验设计(IV、RD、DID、PSM)也常常用于影响评估。准实验在数据质量较好的情况下,也可以估计政策的因果效应。我认为,一个较差的实验肯定比不上较好的准实验设计。
----------------------------------------------------------------------------------------------------------------
Q12坛友@明明如月:
1. 您好,王老师,请问公共服务满意度与ZF信任方面的指标如何衡量,尤其是数据方面如何取得?
2. 王老师,现在关于学术界很多论文的计量化,几乎好文章都需要实证。但是这些数据的可信度并没有衡量的标准?理科还可以做实验验证,文科如何监督呢数据也不公开?
A12
1.我满意度测量指标一般包括总体满意度(如询问你对公共卫生服务的总体满意度如何?)和分项满意度(你对公共卫生服务中某一项的满意度评价如何?),政府信任一般询问对政府、人大、法院等机构的信任程度。满意度和信任均习惯用李克特量表测量。
2.现在很多高水平经济学和政治性刊物都要求论文必须附上数据和程序了,可以下载进行重新分析和验证,如著名的https://dataverse.harvard.edu/
----------------------------------------------------------------------------------------------------------------
Q13坛友郭建群:
王老师您好,我有四个问题请教一下您,第一,为了保证调查-实验分组随机化,研究者倾向于比较实验者和对照组在一定特征上的差异 ,并且把差异不显著车作为成功分组的标志。Mutz认为检验是一种误导,是对随机分配的误解,因为随机分配并不保证某个随机化操作可以使得实验各组在各个方面都完全相同,而是说多次独立的随机分配下实验各组很可能在各个方面完全相同,这是统计意义上的相同,而不是每次实际分配都可实现这一点。不知道老师怎么看? 第二,实验的研究层次关注的是个体层面,您认为,微观层面的因果效应与宏观层面的制度、结构研究的关系如何?二者如何融合? 第三,不同类型的实验研究有不同的内在效度,以及在外在效度方面都存在局限,您认为怎么样的实验复制可以解决这个问题?并且,回到理论层面上,实验复制是否可以为理论拓展或者创新提供途径?第四,在研究中,常常囿于精力和资源,很难保证完全严格的随机化,包括样本抽样和样本随机化,您认为,在研究中应该如何解决这些问题?
A13
目前很多文献检验随机化效果的方法都是进行协变量平衡性检验,来看两个组(或多组)在各种可观察特征上是否没有差异。的确,所谓随机分配的有效性是建立在大数定律等统计理论基础上的,然而在现实中,由于资源和能力的限制,我们只能做一次实验而非多次(甚至无限次)实验,因此,一次随机分配很有可能是有问题的。这种情况下,我们只能小心的检查随机分配的过程,看是否存在明显的问题,如果不太严重,可以通过回归控制协变量等方法来弥补。我认为,社会科学实验必须借鉴医学研究的传统(本来就是从医学借鉴的),在大量实验的基础上,采用meta analysis等方法,来将分散的微观图像组合为更大范围的宏观制度和理论图像。我认为,各种复制都可以,纯粹的概念和理论复制、相同总体不同样本的复制,但要事先明确与之前研究的关系是什么,才能够有边际贡献。随机化的问题仍然需要回到理论上来,换句话说,明确随机化存在的缺陷是否对验证理论本身产生了威胁,这种缺陷如果进行深入的思考,可能更有意思。
----------------------------------------------------------------------------------------------------------------
小结:好了,今天的访谈就到这里吧,由于是在线的即时回答,可能存在一些错误(如错别字等),希望大家多多包涵。有什么问题可以私信我讨论。 欢迎大家加入实地实验方法的阵营,为社会科学因果推断贡献力量!!