基于微博用户信息数据的分布式爬虫建筑物的毕业设计程序源代码UML图PPT数据搜索策略BFS
Distributed_Web_Spider（本科毕业设计）基于网络爬虫的数据分析系统的实现：用python2.7 + Scrapy-Redis分布式架构下的网络爬虫，用json编码+ Cookies池+搜索策略BFS +破解验证码+布隆过滤器+抵制AJAX，Redis放到内存中去重加权和实现断点继爬而Mongodb做磁盘持久化，数据收集微博移动版web用户信息关系数据等等共400w条数据。





Graduation_Design-Distributed_Web_Spider:基于微博用户信息数据的分布式爬虫建筑物的毕业设计，一些小部分简单的数据分析。这个也是为了纪念大学四年！里面包括了源代码，论文的一草二稿等等还有查重终稿，UML图，PPT等等