数据分析、数据挖掘、数据统计、OLAP 之间有什么不同?
我觉得前三个正好是广义数据分析的三个方向:
- 数据分析。指用适当的统计方法对收集来的大量第一手资料和第二手资料进行分析,以求最大化地开发数据资料的功能,发挥数据的作用。是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
广义的数据分析,应当是包含数据挖掘和统计的。数据挖掘是面对海量数据时的有效工具,而数据统计是为分析过程提供可靠模型和结果检验的 有效工具。这两个工具可以用在数据分析中,但不只用在数据分析中。数据分析就是数据到有效信息的过程。 - 数据挖掘。数据挖掘主要是面向决策,从海量数据中挖掘不为人知、无法直观得出的结论。例如内容推荐、相关度计算等。此工作更注重数据内在联系,数据仓库组建,分析系统开发,挖掘算法设计,甚至很多时候要亲力而为的从ETL开始处理原始数据,因此对计算机水平有较高要求。一般广度上不及数据分析,但深度上更为深入。使用工具除海量数据库如Oracle,分布式计算Hadoop,C++,Java,Python等编程语言外,也有可能会用到第三方挖掘工具如Weka。
- 数据统计。专注于建模及统计分析,通过概率、统计、离散等数学知识建立合理模型,充分发掘数据内容。例如用回归分析,充分利用网站历史数据,进行评估、预测、反向预测、发掘因素。利用贝叶斯方法建立模型来进行机器学习、聚类、垃圾邮件过滤等。常用工具如:SAS,R,SPSS。
此方向更偏重数学,尤其是统计学。像哈佛数学毕业的Hammerbacher在这方面也很强。数据统计不局限于互联网,像传统行业尤其是医疗、金融等领域中,用处也是极大。
而OLAP其实是一个建立数据系统的方法,核心思想就是建立多维度的数据立方体,以维度(Dimension)和度量(Measure)为基本概念,辅以元数据,实现可以钻取、切片、切块、旋转等灵活、系统、直观的数据展现。这种思想可以被以上三种方向借用,像GA就带有这种风格,数据仓库也经常用到此种模式。
但由于互联网的数据量较大、维度众多,会导致数据爆炸。因此一般会灵活变通,综合使用。严格使用OLAP的一般都是些制造业、零售业等相对传统的行业,作为BI的延伸,对公司决策提供有力支撑。