使用假设检验方法的基本流程大致如下:提出原假设与备择假设,然后基于收集到的样本计算某个统计量的值,将该值与临界值进行比较,从而判断是否要拒绝原假设。
这个方法之所以有效,是基于下述原因:原假设成立时,选定的统计量服从某个已知的概率分布;反之则不然。
已知概率分布,意味着知道原假设为真时统计量的值落在某个区间内的概率有多大;同样,也可以知道,统计量的值依照一个给定的概率会落在哪个区间内——这个区间的边界就是所谓的临界值。
举个例子,已知原假设为真时统计量的概率分布,那么可以知道在95%的可能性下统计量的值会落在哪个区间内。这时,假如根据收集到的样本计算出的统计量的值确实落在了该区间内,则可以得出结论:我们有95%的把握认为原假设是正确的;如果样本统计量的值落在了该区间外,则可以得出结论:我们有95%的把握认为原假设是错误的。
从根本上说,即使统计量服从原假设为真时的那个分布,其取值仍有5%的可能会落在计算的区间外,所以,我们得出的「拒绝原假设」的结论也有可能是错误的,这个错误的概率就是5%,被称为显著性水平。