1.
数据分析概述及统计学基础
1.1 数据分析概述
1. 领会:传统数据分析和数据挖掘的概念。 商业数据分析预测的本质、数据分析的 8个层次、大数据对传统小数据分析的拓展、数据分析师在业务流程中的作用。
2. 熟知:明确数据分析目标的意义和过程、数据分析方法论如 CRISP-DM、 SEMMA 等方法、传统数据分析方法与数据挖掘方法的区别和联系、明确数据分析中不同人员的角色、职责
明确数据分析目标的意义和过程、传统数据分析和数据挖掘的概念、数据分析的 8 个层
次、大数据对传统小数据分析的拓展、传统数据分析方法与
数据挖掘方法的区别和联系:
数据分析的目的是为业务发展答疑解惑及分析层次。他᧿述了“过去发生了什么”、“现
在正在发生什么”和“未来可能发生什么”。根据分析的级别,分为常规报表、即席查询、
多维分析(又称为钻取或者 OLAP)、警报、统计分析、预报(或者时间序列预测)、预测型
建模(预测性(predictive)模型)和优化。
数据挖掘是一种发现知识的手段,数据挖掘要求数据分析师通过合理的方法,从数据中
获取与数据挖掘项目相关的知识。
大数据对传统小数据分析的拓展及其区别和联系:两种的间关系实际上可以理解为数据
挖掘是对数据分析的扩展,主要体现在如下几个方面——数据量、数据精度、算法、关注点。
数据挖掘特征:海量数据通常带来的问题是数据精确度下降,这是普遍的规律,所以同时具
有量大和精确度低的特征,则需要特殊的算法来解决这个问题, 而
神经网络、决策树、 svm
等算法就具有相应特点,此外由于以上不同点使得分析时关注的侧重点不同,如数据预分析
的时间远远大于建模时间, 关注时间、效率和知识发现,而不是正态分布、异方差、显著性,
关注相关分析,而不是因果分析等。
数据分析目标的意义、过程及其本质, 数据分析方法论如 CRISP-DM、 SEMMA 等方法,
数据分析师在业务流程中的作用、角色和职责。
数据分析目标的意义、过程及其本质:可以认为数据分析涉及到公司运营的方方面面,
这包括对企业部门经营情况的评估、内部员工的管理、生产流程的监管、产品结构优化与新
产品开发、财务成本优化、市场结构的分析和客户关系的管理。其中,关于客户与市场的数
据分析是“重头戏”。下面以客户全生命周期管理为例介绍数据分析运用场景和挖掘主题,
如图 1-1 所示。