安慰剂检验不显著,能不能写"通过了检验"?四种解释与一张报告表
审稿意见里最常见的一句是"请补充安慰剂检验"。作者照做,跑出一个 p 值 0.42 的结果,于是在正文写"安慰剂检验通过,说明模型设定稳健"。这句话在方法上是站不住的:安慰剂检验的零假设是"没有效应",不拒绝零假设,只说明数据与"没有明显假效应"相容,不等于识别策略成立。
更麻烦的是,不显著背后至少有四种完全不同的情况,而这四种情况对应的处理方式完全不一样。
五种安慰剂,各查什么
| 类型 | 做法 | 主要在查什么 |
| 时间安慰剂 | 把政策时点提前到真实实施之前,只用政策前样本估计 | 政策前是否已有差异化趋势 |
| 组别安慰剂 | 随机抽取"假处理组"或随机打乱处理标签,重复多次 | 结果是否只是组间固有差异的产物 |
| 结果安慰剂 | 换一个理论上不该受政策影响的结果变量 | 估计是否在捕捉某个共同趋势 |
| 样本安慰剂 | 剔除核心地区、核心行业或某一年,重估主模型 | 结论是否由少数样本驱动 |
| 断点安慰剂 | 在真实断点之外设伪断点、换带宽、检验协变量在断点处的连续性 | 断点回归的识别是否成立 |
这五类里,时间安慰剂与组别置换最常见,也最容易被写错。时间安慰剂的关键是样本必须严格截在真实政策实施之前,一旦把政策后年份混进去,假处理期就会被真实效应污染。
不显著说明什么,不说明什么
它说明的是:在给定的样本、给定的设定下,没有检测到统计上显著的假效应。它不说明:平行趋势成立、识别策略无误、主结果是因果效应。
差别在于检验的方向。我们想证明的是"没有预趋势",但统计检验只能拒绝或不拒绝"没有效应"。样本量小、期数短、结果变量噪声大时,即使真有预趋势也常常测不出来。所以正确写法是把区间一起报出来,让读者看到这个"不显著"是"精确的零"还是"什么都说明不了的零"。
一个可操作的判断:把安慰剂估计的置信区间与主效应放在一起看。如果区间宽度是主效应的好几倍,这个不显著几乎没有信息量;如果区间很窄且紧贴零,才算是有分量的辅助证据。更严格的做法是做等价性检验,先设定一个"可忽略的效应区间",再看区间是否落在其中。
四种解释,按可能性排
第一种,确实没有明显预趋势。这是最好的情况,但仍只是"没有发现",不是"证明没有"。
第二种,检验功效不足。样本小、政策前年份少、结果变量波动大,标准误就会大。此时不显著是必然结果,与设计好坏无关。
第三种,安慰剂设计本身错位。常见三种:假处理期选得太靠近真实政策,导致部分真实效应被算进"政策前";伪结果变量其实也受政策影响;假处理组里混进了真实处理单位。
第四种,置换规则用错。组别置换要按处理分配的层级来做:政策在省级实施,就在省之间置换;在个体层面随机打乱,会人为缩小标准误,得到一堆虚假的显著结果,反过来也会让"不显著"变得没有意义。
功效怎么快速估一下
一个够用的近似:在 5% 双侧水平、80% 功效下,最小可检测效应大约是标准误的 2.8 倍(1.96 加 0.84)。所以拿到安慰剂估计的标准误,乘以 2.8,就是这套设计"至少能测出多大效应"的量级。
拿它和主效应比:如果算出来的最小可检测效应比主效应还大,那么安慰剂不显著这件事本身没有诊断价值,因为设计连主效应量级的假效应都测不出来。这时候该做的是补样本、拉长政策前窗口,或者换更稳的结果变量,而不是在正文里写一句"通过检验"。
报告怎么写:一张表加三句话
表建议列这几项:安慰剂类型、伪处理的具体设定(假时点、假组别、伪结果)、使用样本与年份区间、系数、标准误或置信区间、p 值、最小可检测效应、结论。
文字部分三句话就够:
第一句说明做了什么、为什么这样设。例如"将政策时点提前至 2018 年,仅使用 2015—2017 年样本重估,以检验政策前是否存在差异化趋势"。
第二句报结果,带区间。例如"估计系数为 0.12(95% 置信区间 0.35 至 0.59),与零无显著差异"。
第三句给判断,不给结论。例如"该结果与政策前无显著差异化趋势相容;结合事件研究图中政策前各期系数与联合检验,未发现系统性预趋势"。注意最后半句是把证据叠起来,而不是用一句"通过"结束。
审稿人会追问的四件事
假时点为什么选在这一年?如果只是为了"跑出好看的结果"反复换年份,多重检验会让不显著变得廉价。经验做法是预先说明选择规则,比如取真实政策前两期,或取样本中点,并报告所有尝试过的设定。
置换做了多少次?组别安慰剂要报告重复次数与经验 p 值的算法,几百次起步,只跑十次不足以说明分布。
置换层级对不对?政策在哪个层级分配,就在哪个层级置换,这是最容易被挑的地方。
功效够不够?把最小可检测效应写出来,比争论 p 值有没有过 0.1 有用。
五条常见错误
把不显著写成"通过了安慰剂检验";只报 p 值不报区间;假处理期与真实政策期重叠;置换层级与处理分配层级不一致;安慰剂显著就悄悄换设定、不显著就大书特书。最后一条属于选择性报告,比方法错误更难补救。
它的边界
安慰剂检验是诊断工具,不是识别证明。它能提示"这里有可疑的预趋势",但不能证明"没有预趋势";能发现问题,不能修补设计缺陷。如果事件研究图里政策前系数已经系统性偏离,靠一个不显著的安慰剂结果是盖不住的,该改的是比较组、政策时点或识别策略。
────────────────
参考章节的入口、该章关于平行趋势与安慰剂检验的小节位置、报告表格的字段模板与最小可检测效应的算法,回复本帖即可见。
把经管之家装进你常用的 AI 智能体中 一键快捷安装经管之家 MCP/技能,让 AI 帮你查教程、找数据、读论坛帖子。 检索、阅读公开帖子不收费,安装可申请领取:3 通用积分+100 论坛币+3 元论坛资金 请点击查看安装教程与福利 → 说明: AI 算力按所用平台规则计算;附件按原帖条件获取;福利领取条件以活动页面为准。 |