怎么培养数据分析的能力？


如果想深入学习数据分析的话建议了解一些数据挖掘的知识。


第一步：数据准备：（70%时间）

• 获取数据（爬虫，数据仓库）
  
• 验证数据
  
• 数据清理（缺失值、孤立点、垃圾信息、规范化、重复记录、特殊值、合并数据集）
  
• 使用python进行文件读取csv或者txt便于操作数据文件（I/O和文件串的处理，逗号分隔）
  
• 抽样（大数据时。关键是随机）
  
• 存储和归档
  
  

第二步：数据观察（发现规律和隐藏的关联）

• 单一变量：点图、抖动图；直方图、核密度估计；累计分布函数
  
• 两个变量：散点图、LOESS平滑、残差分析、对数图、倾斜
  
• 多个变量：假色图、马赛克图、平行左边图
  
  

第三步：数据建模

• 推算和估算（均衡可行性和成本消耗）
  
• 缩放参数模型（缩放维度优化问题）
  
• 建立概率模型（二项、高斯、幂律、几何、泊松分布与已知模型对比）
  
  

第四步：数据挖掘

• 选择合适的机器学习算法（蒙特卡洛模拟，相似度计算，主成分分析）
  
• 大数据考虑用Map/Reduce
  
• 得出结论，绘制最后图表
  
  

循环到第二步到第四步，进行数据分析，根据图表得出结论完成文章。