全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 数据分析师(CDA)专版
4263 0
2015-02-06
随着互联网技术的不断发展,大数据被应用的成功案例越来越多,而之前抽样调查一直是洞察原因和预测结果的手段。
  举个美国大选的例子:
  1936年盖洛普公司和罗珀公司成功地预测了罗斯福总统的连任成功;
  内特利用大数据准确预测了2012年50个州的结果;2012年奥巴马团队运用数据挖掘技术帮助其成功连任(至少媒体是这么说的);
  那么问题来了:抽样调查是否会被大数据的全样本分析取代?两者的比较应该从哪些维度去看?结果如何?哪些行业大数据应用成本比抽样调查成本更低?
  答案是:不会。
  第一,抽样调查的随机性,使得样本可以反映总体的情况。大数据样本没有这样的随机性,不能很好的代表总体。
  第二,能否把大数据样本当作“总体”来使用? 答案依旧是不行。大数据技术本身远远没有达到“普查”的水平,存在统计偏差。
  总结:大数据的确很牛逼!大数据不能代替抽样调查!错误的使用,得到的结果只能自欺欺人。
  从统计分析,到数据挖掘,再到大数据,扎实的统计知识都是必不可少的。统计知识的意义在于,告诉我们,什么样的结果是错误的!如何不被结果所欺骗!
  『全样本分析取代抽样』,如果是在说『在一些过去依靠抽样的研究领域,普查正在替代抽样』,是对的;如果是在说『在数据分析的整个世界里,一种方法正在取代另一种方法』,是不对的。
抽样调查.jpg

图来自 Peking谭北平的微博

  我觉得至少可以讲这四个故事:
  一些研究变不可能为可能(研究方法突破)
  一些过去依靠抽样的工作方法彻底过时(流程优化)
  一些过去靠抽样(数据采集)为生的人,在原有领域被做普查的人取代,只能去别的领域找机会(产业结构改变就业结构)
  一定还存在很多的领域,是目前还无法做普查但可以做抽样的,但过去做抽样的人觉得回报不够高而不愿做,现在他们降低了收入预期,所以就去做了(劳动力流动驱动技术扩散)。
来源:中国大数据整理  作者:知乎:高济禾,飞羊

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群