在网上找了一大圈,带有界面的爬虫软件都很贵,买不起啊。各种语言写的爬虫程序试过了,都不好用。最后发现其实安居客有反爬虫的设置,一般的 request 对它不管用。有些大牛伪装浏览器操作写了爬虫,确实可行,但是提供的代码有些错误。Bug虽然不是很大,但是新手还是用不了。我花了一下午的时间改进了一下,实测可用。
使用之前先下载 webdriver.exe
http://chromedriver.storage.googleapis.com/index.html
一定要根据自己的谷歌浏览器版本号下载,比如我的浏览器版本是
88.0.4324.27,就下载对应这个的。
下载后放到
python3.7exe所在的文件夹目录下, 我的是D:\Python37
同时再放到谷歌浏览器的目录下,我的是 C:\Program Files\Google\Chrome\Application
最后注册goggle浏览器的环境变量.
这样配置完就可以用了