本求助贴的问题背景比较冗长,希望牛牛们耐心看完,我最后只是问一个关于Standard Error新求法的解释以及对比一下传统的T-test
小女目前在一家科技公司产品管理部工作(Product Management), 需要用
A/B testing 对比两种不同的产品设计,看哪种方法表现好。A/B testing比较常用的统计方法是T-test (对比两组数据的均值,看对比结果是否显著),但是这个方法只是求均值,不容易看出variation from day to day. 于是Scott Burk这篇文章介绍了一个更好的统计方法用来执行A/B testing---Control Chart.
http://marketing-bulletin.massey.ac.nz/V17/MB_V17_T3_Burk.pdf
这篇文章很好懂,可以直接跳到P4 or P6看图1和图2,其基本思路就是:比如对比AB两个产品设计,先在day 1- day 10执行A方法,day 11开始执行B方法,目标是看两种方法下产品conversion rate的表现。根据前10天的A方法下的数据点,可以画出三条线,中间一条是前10天的mean, 最高那条是upper control limit, 最低那条是lower control limit. Control Chart这个方法的中心思想就是看第11天开始在B方法下画出的点和前10天这三条线的对比。
这篇文章我困惑的一点是关于upper/lower control limit的求法,文章第5页第2段提到control limit=mean+/- 2.5*S.E. 还特别提出这里的S.E. (Standard Error)不同于我们一般意义的Standard Error的求法(一般求法是SD除以sqrt root of # of observation). 文章第5页列出了这个SE求法的三个步骤。
我的问题如下:
1)我不太理解第三步,那个1.128常数是哪里来的?
2)我们平常在Stata中求一个数列的S.E.是用什么方法和命令来着?
3)这个方法和一般的T-test对比两组数据有什么先进之处,有什么不足?
不胜感激牛人们莅临指导!谢谢!