立即打开
随着互联网技术的不断发展,大数据被应用的成功案例越来越多,而之前抽样调查一直是洞察原因和预测结果的手段。
举个美国大选的例子:
1936年盖洛普公司和罗珀公司成功地预测了罗斯福总统的连任成功;
内特利用大数据准确预测了2012年50个州的结果;2012年奥巴马团队运用数据挖掘技术帮助其成功连任(至少媒体是这么说的);
那么问题来了:抽样调查是否会被大数据的全样本分析取代?两者的比较应该从哪些维度去看?结果如何?哪些行业大数据应用成本比抽样调查成本更低?
答案是:不会。
第一,抽样调查的随机性,使得样本可以反映总体的情况。大数据样本没有这样的随机性,不能很好的代表总体。
第二,能否把大数据样本当作“总体”来使用? 答案依旧是不行。大数据技术本身远远没有达到“普查”的水平,存在统计偏差。
总结:大数据的确很牛逼!大数据不能代替抽样调查!错误的使用,得到的结果只能自欺欺人。
从统计分析,到数据挖掘,再到大数据,扎实的统计知识都是必不可少的。统计知识的意义在于,告诉我们,什么样的结果是错误的!如何不被结果所欺骗!
『全样本分析取代抽样』,如果是在说『在一些过去依靠抽样的研究领域,普查正在替代抽样』,是对的;如果是在说『在数据分析的整个世界里,一种方法正在取代另一种方法』,是不对的。
图来自 Peking谭北平的微博
我觉得至少可以讲这四个故事:
一些研究变不可能为可能(研究方法突破)
一些过去依靠抽样的工作方法彻底过时(流程优化)
一些过去靠抽样(数据采集)为生的人,在原有领域被做普查的人取代,只能去别的领域找机会(产业结构改变就业结构)
一定还存在很多的领域,是目前还无法做普查但可以做抽样的,但过去做抽样的人觉得回报不够高而不愿做,现在他们降低了收入预期,所以就去做了(劳动力流动驱动技术扩散)。
来源:中国大数据整理 作者:知乎:高济禾,飞羊
扫码加我 拉你入群
请注明:姓名-公司-职位
以便审核进群资格,未注明则拒绝
相关推荐
栏目导航
热门文章
推荐文章
扫码加好友,拉您进群