User-Agent :简称 UA ,它是一个特殊的字符串头,可以使服务器识别客户使用的操作系统及版本 浏览器及版本等信息 在做爬虫时加上此信息,可以伪装为浏览器;如果不加,很可能会被识别为爬虫。
1、查看某网页的Header,点击箭头指定的位置
2、2、点击工具》开发人员工具
3、点击Network,然后点击F5
4、查看到了User-Agent
5、python代码展现
import requestsfrom bs4 import BeautifulSouplink="https://movie.douban.com/top250"headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}r = requests.get(link, headers=headers)r.encoding = 'UTF-8'print(r.text)