2019/12/05
《No.4: p41-p48》《增强型分析-AI驱动的数据分析、业务决策与案例实践》读书笔记
第2章 大数据探索与预处理

数据归约
1        定义: 数据归约(Data Reduction): 是指在理解数据分析任务和数据本身内容的基础上，发现有用特征，缩减数据规模，在尽可能保持原始数据的前提下，最大限度的精简数据量。
2        数据归约的途径
2.1        属性选择
2.1.1        通过有意而为之的动作，从大量属性中筛选与预测目标有关的属性，删除不相关的数据。
2.1.2        是主观判断的过程，也需要技术手段来实现。
2.2        数据采样
2.2.1        定义: 通过抽样来估计总体的特征
2.2.2        许多算法(如Lasso-logit)可以很快筛选指标，但数据挖掘的过程中，还是对于业务的了解和衍生指标的加工。
2.2.3        抽样的类型
2.2.3.1        概率抽样
2.2.3.1.1        简单随机抽样
2.2.3.1.2        系统随机抽样
2.2.3.1.3        分层随机抽样
2.2.3.1.4        整体抽样
2.2.3.2        非概率抽样
2.2.3.2.1        方便抽样
2.2.3.2.2        判断抽样
2.2.3.2.3        配额抽样
2.3        衍生指标(Derived Field)的加工
2.3.1        定义: 衍生指标是指利用给定数据集中的字段，通过一些计算产生新的指标。
2.3.2        是数据分析中最具创意的部份
2.3.3        需将业务见解融入建模过程中
2.3.4        将数值转化为百分位数，如客户的理财偏好程度
2.3.5        把类别变量转换为数值: 大部份算法需要将类别型变量转换为数值型变量
2.3.6        多变量组合: 如信用评级指数
2.3.7        从时间序列中提取特征，是指在不同时间点上收集到的数据，算法如差分自回归移动平均模型(ARIMA)