全部版块 我的主页
› 论坛 › 新商科论坛 四区(原工商管理论坛) › 行业分析报告
66 1
2026-11-13
安慰剂检验不显著,能不能写"通过了检验"?四种解释与一张报告表

 

审稿意见里最常见的一句是"请补充安慰剂检验"。作者照做,跑出一个 p 值 0.42 的结果,于是在正文写"安慰剂检验通过,说明模型设定稳健"。这句话在方法上是站不住的:安慰剂检验的零假设是"没有效应",不拒绝零假设,只说明数据与"没有明显假效应"相容,不等于识别策略成立。

 

更麻烦的是,不显著背后至少有四种完全不同的情况,而这四种情况对应的处理方式完全不一样。

 

五种安慰剂,各查什么

 

类型做法主要在查什么
时间安慰剂把政策时点提前到真实实施之前,只用政策前样本估计政策前是否已有差异化趋势
组别安慰剂随机抽取"假处理组"或随机打乱处理标签,重复多次结果是否只是组间固有差异的产物
结果安慰剂换一个理论上不该受政策影响的结果变量估计是否在捕捉某个共同趋势
样本安慰剂剔除核心地区、核心行业或某一年,重估主模型结论是否由少数样本驱动
断点安慰剂在真实断点之外设伪断点、换带宽、检验协变量在断点处的连续性断点回归的识别是否成立

 

这五类里,时间安慰剂与组别置换最常见,也最容易被写错。时间安慰剂的关键是样本必须严格截在真实政策实施之前,一旦把政策后年份混进去,假处理期就会被真实效应污染。

 

不显著说明什么,不说明什么

 

它说明的是:在给定的样本、给定的设定下,没有检测到统计上显著的假效应。它不说明:平行趋势成立、识别策略无误、主结果是因果效应。

 

差别在于检验的方向。我们想证明的是"没有预趋势",但统计检验只能拒绝或不拒绝"没有效应"。样本量小、期数短、结果变量噪声大时,即使真有预趋势也常常测不出来。所以正确写法是把区间一起报出来,让读者看到这个"不显著"是"精确的零"还是"什么都说明不了的零"。

 

一个可操作的判断:把安慰剂估计的置信区间与主效应放在一起看。如果区间宽度是主效应的好几倍,这个不显著几乎没有信息量;如果区间很窄且紧贴零,才算是有分量的辅助证据。更严格的做法是做等价性检验,先设定一个"可忽略的效应区间",再看区间是否落在其中。

 

四种解释,按可能性排

 

第一种,确实没有明显预趋势。这是最好的情况,但仍只是"没有发现",不是"证明没有"。

 

第二种,检验功效不足。样本小、政策前年份少、结果变量波动大,标准误就会大。此时不显著是必然结果,与设计好坏无关。

 

第三种,安慰剂设计本身错位。常见三种:假处理期选得太靠近真实政策,导致部分真实效应被算进"政策前";伪结果变量其实也受政策影响;假处理组里混进了真实处理单位。

 

第四种,置换规则用错。组别置换要按处理分配的层级来做:政策在省级实施,就在省之间置换;在个体层面随机打乱,会人为缩小标准误,得到一堆虚假的显著结果,反过来也会让"不显著"变得没有意义。

 

功效怎么快速估一下

 

一个够用的近似:在 5% 双侧水平、80% 功效下,最小可检测效应大约是标准误的 2.8 倍(1.96 加 0.84)。所以拿到安慰剂估计的标准误,乘以 2.8,就是这套设计"至少能测出多大效应"的量级。

 

拿它和主效应比:如果算出来的最小可检测效应比主效应还大,那么安慰剂不显著这件事本身没有诊断价值,因为设计连主效应量级的假效应都测不出来。这时候该做的是补样本、拉长政策前窗口,或者换更稳的结果变量,而不是在正文里写一句"通过检验"。

 

报告怎么写:一张表加三句话

 

表建议列这几项:安慰剂类型、伪处理的具体设定(假时点、假组别、伪结果)、使用样本与年份区间、系数、标准误或置信区间、p 值、最小可检测效应、结论。

 

文字部分三句话就够:

 

第一句说明做了什么、为什么这样设。例如"将政策时点提前至 2018 年,仅使用 2015—2017 年样本重估,以检验政策前是否存在差异化趋势"。

 

第二句报结果,带区间。例如"估计系数为 0.12(95% 置信区间 0.35 至 0.59),与零无显著差异"。

 

第三句给判断,不给结论。例如"该结果与政策前无显著差异化趋势相容;结合事件研究图中政策前各期系数与联合检验,未发现系统性预趋势"。注意最后半句是把证据叠起来,而不是用一句"通过"结束。

 

审稿人会追问的四件事

 

假时点为什么选在这一年?如果只是为了"跑出好看的结果"反复换年份,多重检验会让不显著变得廉价。经验做法是预先说明选择规则,比如取真实政策前两期,或取样本中点,并报告所有尝试过的设定。

 

置换做了多少次?组别安慰剂要报告重复次数与经验 p 值的算法,几百次起步,只跑十次不足以说明分布。

 

置换层级对不对?政策在哪个层级分配,就在哪个层级置换,这是最容易被挑的地方。

 

功效够不够?把最小可检测效应写出来,比争论 p 值有没有过 0.1 有用。

 

五条常见错误

 

把不显著写成"通过了安慰剂检验";只报 p 值不报区间;假处理期与真实政策期重叠;置换层级与处理分配层级不一致;安慰剂显著就悄悄换设定、不显著就大书特书。最后一条属于选择性报告,比方法错误更难补救。

 

它的边界

 

安慰剂检验是诊断工具,不是识别证明。它能提示"这里有可疑的预趋势",但不能证明"没有预趋势";能发现问题,不能修补设计缺陷。如果事件研究图里政策前系数已经系统性偏离,靠一个不显著的安慰剂结果是盖不住的,该改的是比较组、政策时点或识别策略。

 

────────────────

参考章节的入口、该章关于平行趋势与安慰剂检验的小节位置、报告表格的字段模板与最小可检测效应的算法,回复本帖即可见。


游客,如果您要查看本帖隐藏内容请回复

把经管之家装进你常用的 AI 智能体中

一键快捷安装经管之家 MCP/技能,让 AI 帮你查教程、找数据、读论坛帖子。

检索、阅读公开帖子不收费,安装可申请领取:3 通用积分+100 论坛币+3 元论坛资金

请点击查看安装教程与福利 →

说明: AI 算力按所用平台规则计算;附件按原帖条件获取;福利领取条件以活动页面为准。

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
昨天 16:20
把不显著当通过,这坑太常见了
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群