数据对于实证论文来说是非常重要的，而爬虫能很好的解决这个重要的数据问题。

很多人都觉得爬虫很难，其实爬虫是很简单的事情。

人人都能胜任的网络爬虫Python自带的标准库中，urllib、urllib2、requests库对于简单网页的抓取实现非常简单，即使在面对海量数据抓取需求时，第三方库Scrapy也能应对自如；再配合正则表达式库re、网页代码解析BeautifulSoup、html和xml解析库lxml、多线程库threading等特性，使得Python在应用到网络爬虫任务上时，只需要很少的开发量便能迅速完成任务。基于Python简单易学的特性，几乎人人都能开发网络爬虫。

Python爬虫学术应用_9月北京现场班

时间：2019年9月13-16日 (四天)

地点：北京市海淀区丹龙大厦附近

安排：上午9:00-12:00，下午1:30-4:30，答疑4:30-5:00

费用：3600元 / 3000元(学生价仅限全日制本科生及硕士在读)；食宿自理

我要报名

讲师介绍：

阎老师，长期从事数据分析的理论研究、教学和实践工作。长期关注各类统计软件的发展和国内外各行业的应用情况，一直保持着与统计应用前沿的密切接触，在数据挖掘应用、市场研究应用等领域经验丰富。
擅长企业数据分析和企业诊断，参与多项国家级、省级课题的科研工作，曾任多家电商企业的运营顾问和培训师，积累了大量实战经验。

课程导引：

在了解爬虫的过程中，由于对这项技术缺乏系统了解，“小白”们难免会被纷繁生僻的知识点折腾地眼花缭乱、晕头转向。有的人打算先搞懂基本原理和工作流程，有的人计划从软件的基本语法入门，也有人打算弄懂了网页文档再来……在学习抓取网络信息的道路上，许多人因为中途掉进陷阱最终无功而返。因此，掌握正确的方法的确非常重要。

这一门课的目的，就是希望能够通过通俗易懂的讲解，令没有编程基础的研究人员通过学习，能够学会爬取主流网站的内容并整理成为可为后续分析提供依据的数据资料。在这门课结束之后，我们能够爬取豆瓣的评论内容、学术论文、淘宝的销售数据、房价的变化趋势，还能对股票市场进行分析和预测。

课程大纲：

为了能够完整地呈现Python数据采集的方法和过程，这门课将分为四大部分——

一、Python快速入门

在写爬虫之前，我们需要了解一些有关工具的基础知识。所以，第一天的授课内容是关于Python基础的，是后续课程中读懂并编写爬虫程序的铺垫。其中包括了Python的数据结构、变量类型、循环和控制语句、Numpy和Pandas包的基本功能。有基础的老师可以跳过这一部分直接进入第二部分。

第1章 认识Python

1. Python的数据结构与函数

2. Python的循环与控制流

3. Python的基本扩展库

二、初识爬虫

在这一部分中，我们将正式接触爬虫，我们也将感受到每天都在使用的浏览器究竟藏着哪些细节。为了能够得到清洁的数据，我们不得不忽略网页精致的外观和编排，刻意绕开浏览器的帮助来分离和理解数据。页源里除了我们认识的文字，那些标签都有着怎样的含义？如何把网页内容“请”到我们的分析工具中来？爬取数据有怎样的规律可循？这些都是第二部分将要呈现的内容。

第2章 重新认识网络

1. 什么是Web前端

2. HTML的结构

第3章 创建爬虫

1. 什么是爬虫

2. Python爬虫的环境搭建

3. 爬虫三部曲——获取、解析、保持

小例子：创建第一个爬虫

三、页面解析

在之前的课程中，我们已经知道了要怎样繁复的工程才堆砌出绚丽的网页，但这其中大部分的内容是我们并不需要的。如何穿越层层与我们无关的标签和HTML属性抽取到清洁的数据内容？如何使用更简洁高效的方式达到目的？大名鼎鼎的“正则”究竟是什么？这些是4-6章要重点讲授的内容。

第4章 复杂HTML解析

1. 正则表达式

2. 一个名叫“心灵鸡汤”的扩展库

3. 导航树

4. 突破反爬虫的限制

案例1：静态页面爬虫

第5章 动态渲染页面的爬取

1. Ajax和动态HTML

2. 无界面浏览器PhantomJS

3. 自动化测试库Selenium

案例2：动态爬虫

第6章 Scrapy爬虫架构

1. Scrapy爬虫结构

2. 创建爬虫模块

3. 选择器

4. 构建Item Pipeline

5. 请求与相应

案例3：Scrapy爬虫

四、爬取结果的处理

到目前为止，我们处理的还都是规范数据，但现实是，我们面对更多的是样式不规范的数据，放弃不符合预期的数据并不是一个长久之计。在我们无法挑选数据时，这一章的内容就显得格外有用了。一个长句中究竟包含了哪些有效信息？一条评价反映出客户怎样的态度？接下来的内容将介绍一些工具和方法，帮助我们控制或筛选进入视线的数据，为后续的数据分析做准备。

第7章 数据清洗

1. 清洗结构化数据

2. 清洗非结构化数据

3. 数据标准化

案例4：计算词频

第8章 自然语言处理入门

1. 获取文本语料

2. 加工原始文本

3. 从文本中提取信息

案例5：情感分析

优惠信息：

现场班老学员9折优惠；
同一单位三人以上同时报名9折优惠；

以上优惠不叠加。

报名流程：

1. 点击“我要报名”，网上提交报名信息；

2. 订单缴费；

3. 缴费确认，开课前一周发送软件准备，电子版讲义；

4. 现场领取发票及邀请函。

联系方式：

魏老师
QQ：1143703950
Tel：010-68478566

Mail：vip@pinggu.org

更多秋季名师精品学术培训：

2019年9-12月学术培训 经管之家.pdf
大小:(850.47 KB)

 马上下载