问题背景,假设我们有两个Logo,我们期望用户看到这个logo之后愿意点进去我们的页面,但是我们并不知道哪个logo效果会更好,因此我们期望通过AB测试来做比较。
即,我们通过一些方法,使50%的用户(比如根据ID做hash等等),看到的是logo1,使另外50%的用户看到的是logo2,我们分别统计这两个logo的点击率,根据点击率来比较两个logo效果。
现在问题来了,到底多少的样本量才能说明其中一个logo比另外一个logo更好呢?
比如,简化期间,假设分别有1000个用户看到了logo1, 其中300个用户点击进去了。
                                   另外有1000个用户看到了logo2,其中350个用户点击进去了。
那么
1. 我们到底有多大的置信认为,logo2,比logo1要好呢?
2. 我们有多大的置信,认为,logo2比logo1要好10%以上呢?
多谢