数据整理中经典的分类汇总问题的Python实现

ZQZ520

61213

320

收藏 2017-10-13

数据分析职场新人，精通一门语言至关重要。写个web服务，可以用python、写个服务器脚本，可以用python、数据清洗和网络爬虫，可以用python、做机器学习数据挖掘，可以用python等等，所以说人生苦短，我用Python

PS：根据上期学员的反馈和优化，接下来8月9—12日 Python数据挖掘深圳班变成4天（具体课程内容详见帖子回复）跟着覃老师一起领悟数据挖掘算法在行业应用。下面介绍课程中的一个小案例，自己先好好学习下。强化的培训，应该让你可以学完后很自信，学以致用，快速上手解决工作中的问题。

（深圳现场班）

（远程直播班）

   问题是数据整理中经典的分类汇总问题，各个软件，SAS、R语言甚至Excel都可以比较好地解决此问题，但Python解决此问题时，也可以做到“一剑封喉”，并体现出其独特的优势。我们先看问题：
   题目：下列数据来自某市房地产公司的资料，试按房屋类型和每一房屋类型下卧室个数的多少计算其平均售价。

   问题比较清楚，这是一个按照“房屋类型”和“卧室个数的多少”的双条件汇总问题，即考虑在A和B两个条件下的数据分类汇总问题。该问题在工作中是常见的问题，如果在Excel完成，要依靠数据的预处理和较为复杂的函数来进行。
   我们先来试算一下，比如，先看第5行，在“RANCH”这个房屋类型下，“BEDROOMS”个数为3的数据记录总共有2条，即第“5”条和第“11”条，其房价分别是“$86,650”和“$89,100”，不难算出其平均价格为“$87,875”。
   用Python的Pandas（专门进行数据处理的模块）计算，首先面临的问题是如何导入数据，并且把房屋价格里面的“$”和“,”去掉，这样才能进行计算。于是一个双条件分类汇总的问题变成了字符处理的问题。
当然不可能手动去读入数据，最简洁的方式是将数据选择鼠标右键复制下来，然后这样导入：

导入让把所有的数据赋给“a”，“a”的数据结构看一下是：

告诉我们是“字符串”。面对字符串，进一步显示“a”，发现其被“\n”分割：

于是想办法去掉“\n”。去掉“\n”不是很难，一句“a.split("\n")”就可以去掉。但是进一步我们发现，各个变量是以空格“ ”相连的，所以还要去掉这个空格以便进一步计算。这里利用Python常用的“逐行扫描”技巧来完成。通常前面要先定义一个空的list，比如b：

这一步完成之后，一定要看一下b的结果，如下图所示：

下一步就是要去掉价格price里面的“$”和“,”了，这一步完成的方法比较多，最朴素的想法是用什么都没有的“”去置换这2个元素：

这里又用到Python的“for”循环的“逐行扫描”的技巧。这一步将“b”变成：

到了这一步，离结果只有“一步之遥”了。为了保险起见，我们把所有的变量都“数值化”，使用下面的语句去遍历：

得到如下的结果：

仔细比较一下前图，发现字符串都变成了数字。

到了这时候，就是“临门一脚”了，我们把数据整理成为我们熟悉的“数据框”的形式，这一步让Pandas来上场，经过整理之后，数据变得“赏心悦目”：

请注意，这条语句中，指明第一行是变量名。
通常，面临这样的数据，要进行各种计算是非常方便的。比如，要完成一开始题目提出的问题，只需一句话即得结果：

这句“画龙点睛”之笔是用groupby这个函数把数据按照2个条件分组，然后计算其均值。“.”加函数的方式是Python里面常用的形式。我们看一下Python计算结果里面的“RANCH”和“3”，是“87875”，与我们之前计算的完全吻合。这样我们就按要求用Python完成了该数据的整理汇总。
数据的整理汇总是进行数据分析和数据挖掘工作的前期准备，比较重要，往往占用很大一部分时间。数据清洗的能力有时候直接决定数据挖掘建模预测的成败。通过该简单的小例子，向大家展示了Python中的Pandas在这方面的优势和方法。当然，Python及Pandas神通广大，远远不止做这些简单的工作，希望大家掌握这个数据分析利器，在大数据时代更好更充分的发掘数据的价值。

（深圳现场班）

（远程直播班）

在线咨询
张老师
手机：13718534278（微信）
QQ：2881989712

邮箱：zhangwei@pinggu.org

覃老师企业内训经验也相关丰富，帮助学员拓展数据思维、扫清知识上的障碍，深受客户的好评。

中国电信企业内训详情链接 https://www.cda.cn/hd/162.html

中国工商银行企业内训详情链接 https://www.cda.cn/hd/125.html

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

西门高

2017-10-13 10:28:18

ZQZ520 发表于 2017-10-13 10:03
下面的问题是数据整理中经典的分类汇总问题，各个软件，SAS、R语言甚至Excel都可以比较好地解决此问题，但P ...

谢谢分享

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

ZQZ520

2017-10-13 10:42:07

一、课程目标
1.数据分析工作中遇到的典型数据分析和挖掘案例进行深刻地分析
2.初学者快速掌握Python 数据分析和数据挖掘（含机器学习）的思想和方法
3.形成科学有效的知识和能力结构体系框架，为今后数据分析工作打下良好的基础

二、课程特色
1．全程没有艰深的公式，几乎全部以实际案例带动启发理解，以通俗易懂的语言讲清楚深刻的数据分析和挖掘思想，随时互动、答疑解惑
2．注重学以致用、注重应用场景再现。把工作中常见的数据分析模型和案例加以剖析，使得学员在实际工作中很快能上手进行实际问题的解决
3．注重实际工作经验分享，让学员在工作学习中少走弯路，以培养兴趣为引导、以阐明基本原理思想为基础，让学员在数据分析中有应万变的能力

三、授课老师
   覃老师，早年毕业于中国人民大学统计学院，近 20 年来一直进行着数据分析的理论和实践，熟悉数据分析与建模，擅长使用Python、R语言、SAS和Spark解决大数据建模及算法优化难题，积累了大量实践案例，经验丰富；善于用逻辑贯穿数据分析过程，把深奥的思想和方法用通俗易懂的语言讲述清楚透彻，善于用数据分析计算机程序实现从数据到结论到预测的落地过程。2010 年至今培养了上万名（包括首批）使用R语言、SAS和Python等工具实现数据分析和挖掘的专业人士，帮助他们在数据挖掘领域提升工作技能或实现就业。
   覃老师曾在某世界500强金融业公司工作期间曾带队负责开发国内首款基于数据分析建模、随机模拟和最优化精确计算的金融年金产品，该产品销售额持续领跑同业市场多年，获得金融产品创新大奖。
   覃老师培训或完成过数据分析和挖掘项目的企业有中国人寿、工商银行、农业银行、汇丰银行、北京银行、渤海银行、宁波银行、陆金所、中国电信、中国移动等。

四、课程大纲：
第一阶段： Python 基础精要，零基础也能学会
1. 语法初步
2. 列表、字符串和元组
3. 集合与字典
4. 条件和循环语句
5. 若干重要内置函数应用
6. 文件操作
7. 函数及其应用
8. 正则表达式
9. 数据库和 Python
10.排序算法、动态规划算法、递归算法等算法

第二阶段：numpy、pandas等进行数据清洗和整理，充分统计分析数据
1. 整理数据（切片、产生随机数、复制、广播、排序等）
2. 数据索引和选择的各种方法
3. 数据的分组、分割、合并、变形
4. 缺失值和空值的数据处理
5. 时间序列数据处理、建模和预测（ARIMA）
6. 含中文数据的处理
7. 数据去重、去离群值
8. R语言和Python（pandas）数据整理和建模的比较
9. 描述统计和推论统计分析

第三阶段：Python机器学习算法和数据挖掘案例实战
1. 文本挖掘原理和案例（Logistic 回归模型对文本的分类）
2. 预测分析核心算法（图片的K-means聚类分析）
3. 机器学习经典算法（图片的识别和分类：PCA建模）
4. 概率统计（二维手写数字识别 KNN方法）
5. 数据可视化（推荐系统和精准营销最近邻方法、协同过滤）
6. 金融建模分析（数据可视化的各种情形）
7. 客户画像和精准营销（新闻的文本分类 TF-IDF准则、旅游新闻个性化推荐）
8. 算法和模型的优化（手写识别）
9. 模型精度评估和提升（朴素贝叶斯决策）
10.特征选取的方法（酒的品质分类预测）
11.最佳K-means分类数（机器学习的格点搜索和参数寻优）
12.交叉验证（惩罚线性回归分类器）
13.不平衡数据处理（使用支持向量机识别和分类）
14.XGBoost 使用案例       （金融时间序列预测）
15.贝叶斯分析（机器集成学习算法）
16.逼近和最优化       （随机模拟）
17.自然语言概率图模型（用户流失预警）
18 马尔科夫&蒙特卡罗（量化投资实战）

（深圳现场班）

（远程直播班）

五、课程安排
上课时间：2018年8月09—12日
上课地点：深圳市南山区科技园北区科技北一路17号摩比大厦
现场费用：3600/2800元（学生价格2800元仅限全日制本科生及硕士研究生)
直播费用：2800元/人（同步上课时间课程内容）
每天授课：上午9:00-12:00；下午13:30-16：30；16:30-17:00（答疑）
课程优惠：
1.现场班老学员9折优惠；
2.同一单位三人以上同时报名9折优惠；
以上优惠不叠加

PS：覃老师企业内训经验也相关丰富，拓展其数据思维、扫清知识上的障碍，深受客户的好评。

中国电信企业内训详情链接 https://www.cda.cn/hd/162.html

中国工商银行企业内训详情链接 https://www.cda.cn/hd/125.html

在线咨询
张老师
手机：13718534278（微信）
QQ：2881989712

邮箱：zhangwei@pinggu.org