python爬虫教程与常见网站爬虫案例百度贴吧新闻知乎斗鱼弹幕抓取反反爬技术

讲解了爬虫的基本流程以及需要用到的 Python 库和方法，并通过一个实际的例子完成了从分析网页，到数据存储的全过程。其实爬虫，无外乎模拟请求，解析数据，保存数据。 当然有的时候，网站还会设置各种反爬机制，比如 cookie 校验，请求频度检查，非浏览器访问限制，JS 混淆等等，这个时候就需要用到反反爬技术













**主要问题**：现在有个爬虫程序摆在我面前，它长时间爬着爬着爬虫程序和数据库的内存就会增大，因影响爬虫的继续和电脑或服务器的正常使用。**解决思路**： * 1. 通过判断cpu 和内存占用率 然后决定是否要杀死爬虫程序和数据库服务进程* 2. win下 通过 tasklisst 命令获取到我们需要的pid 然后杀死进程* 3. 重启爬虫程序和数据库* 4. 做个时间延迟并循环判断